岗位职责：
1、负责分布式爬虫系统的核心架构设计以及系统规划；
2、负责抓取数据的清洗、落地、分析，确保数据抽取准确、高效；
3、破解反爬机制，优化爬虫路由调度策略；
4、负责高性能爬虫系统的后台监控、报警模块的开发。
任职资格：
1、本科及以上学历，计算机相关专业，有强烈的好奇心；
2、三年以上数据采集开发经验，具备扎实的计算机专业基础知识；
3、熟悉linux平台开发，精通Python编程语言；
4、熟悉网页抓取原理及技术，至少熟悉一种爬虫框架（如Scrapy、Feapdr等）；
5、熟悉 selenium 、DrissionPage 等自动化抓取技术；
6、热爱解决爬虫的各种技术问题，勇于挑战。