岗位职责：

1、模块开发与维护：独立完成模块设计、编码、测试及相关文档工作。

2、爬虫系统开发：设计并开发高效、稳定的网络爬虫系统，确保数据准确性和完整性。

3、系统优化：优化爬虫抓取策略与调度策略，维护现有系统，提升抓取速度与数据质量。

4、数据处理：负责数据采集、解析、清洗、入库及统计工作。

5、系统监控：监控爬虫运行状态，及时处理异常，确保系统稳定性。

6、数据质量反馈：及时反馈数据质量情况，跟进数据采集进度

岗位要求：
1、经验与学历：3年以上工作经验，计算机、信息工程等专业优先。

2、技术能力：熟练使用Python，掌握Scrapy、BeautifulSoup、Selenium等框架。

3、网络协议与反爬虫：熟悉HTTP/HTTPS协议，能解决封IP、验证码、JS逆向等反爬虫问题。

4、数据存储与处理：熟悉MySQL、Redis、MongoDB、ES等工具。

5、网页抓取技术：精通网页抓取原理与正则表达式，能从结构化与非结构化数据中提取信息。

6、沟通与抗压能力：具备良好的沟通能力与产品意识，能承受工作压力。

7、优先条件：有海量数据爬取、标讯类爬取经验者优先。