岗位职责:

1、负责解决爬虫高难度技术问题。例如，解决数据采集过程中的反爬虫策略问题，分布式爬虫架构的开发及迭代等；

2、负责爬虫业务需求对接、开发和交付。包括业务需求对齐，设计并实现高效的数据采集方案，确保数据交付的实时性和准确性；

3、负责技术提升及团队管理。包括技术分享、赋能指导等提升团队技术能力；‌负责人员绩效制定及评价等，提升团队技术能力与协作效率。

任职要求:

1、统招本科及以上学历，计算机、电子信息、软件工程等相关专业，5年以上爬虫相关工作经验；

2、熟练掌握Python编程语言，熟练使用正则表达式、requests、xpath等模块，Linux开发环境、基本shell命令、具备linux软件部署能力等；掌握常用数据库操作，redis、mongodb，mysql等；

3、熟练使用爬虫技术栈，掌握web端数据采集、html解析、js逆向、常用的爬虫框架(如Scrapy、自动化等)等技术，掌握多种反爬解决方案；

4、带过5人及以上团队，做过1个以上完整的项目交付；

5、具有良好的抗压、数据分析与文档撰写能力，具备敬业精神和团队合作意识。