工作内容
1.负责网络爬虫系统的设计、开发和维护，确保数据抓取的效率和稳定性;
2.针对不同网站结构(静态/动态页面、API接口等)设计爬虫策略，解决反爬机制(如验证码、IP封锁等);
3.清洗、存储和分析爬取的数据，支持业务部门的数据需求;
4.优化爬虫性能，提升抓取速度和数据质量;
5.参与数据平台相关工具的开发和维护。
任职要求
1.精通Python，熟悉常用库(如Requests、 Scrapy、BeautifulSoup、Selenium等);
2.掌握HTTP/HTTPS协议、XPath/CSS选择器、正则表达式等爬虫基础技术;
3.熟悉反爬应对策略(如代理IP、请求头模拟、分布式爬虫等);
4.了解常见数据库(MySQL/MongoDB/Redis等)和数据存储方案;
5.能独立完成从爬取到数据落地的全流程开发。