1、负责爬虫系统的设计与开发，核心工作是编写对应java代码或python脚本；
2、负责网页信息和APP数据抽取、清洗、消重等工作，提升平台的抓取效率；
3、实时监控爬虫进度和预警处理；
4、与产品部门和上级沟通确保数据的准确性及时性；
5、了解项目需求和设计，评审数据库表结构设计；
6、参与需求评审，根据需求进行数据采集工作；

任职要求:
1、本科及以上，计算机相关专业，5年以上相关工作经验；
2、Mysql、python、scrapy、selenium、正则表达式、html；
3、熟悉java、python的爬虫框架；
4、熟练掌握 html、css、xpath、正则表达式、scrapy、selenium、pandas；
5、深入了解 HTTP，TCP/IP 网络协议；
6、熟悉常见的反爬策略，有一定的研究和解决问题的能力；
7、具备相关IT专业证书优先；