岗位职责：
1.参与web端数据采集系统和分布式爬虫的架构设计和开发；
2.负责网络数据采集规划、清洗、结构化、定期采集指定网站的数据；
3.配合设计解决数据采集反爬策略和防屏蔽规则，提升网页数据采集的效率和质量；
4.日志与技术文档更新维护；
5.数据库维护；

任职要求：
1.本科以上学历，有百万以上数据采集经验优先；
2.精通python（requests/selenium/Scrapy等库）爬虫，熟练使用常用的爬虫框架和工具，具备JS逆向破解经验优先，有验证码识别与机器学习经验优先；
3.熟悉MongoDB、Redis、Mysql等主流数据库，掌握MQ；
4.熟悉HTTP协议，熟悉正则表达式、XPath、BS4等；
5.有大型网站的实战数据采集经验优先；
6.能独立解决实际开发过程碰到的各类问题。