岗位职责：

1、负责分布式网络爬虫系统设计，搭建系统框架，开发分布式网络爬虫系统。

2、负责数据的抓取、提取、数据分析等工作，满足业务部门对数据的需求。

3、设计和优化数据抓取策略，能够应对各种反爬策略，提高数据抓取的效率和质量。

4、理解数据需求，快速响应和解决数据相关问题。

5、建立和维护数据抓取任务的监控系统，确保数据抓取的稳定性和及时性。

任职要求：

1、计算机相关专业本科及以上学历，有2年以上爬虫开发经验。

2、精通Python语言，至少熟练掌握主流爬虫框架中的一种；

3、熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、js逆向、headers认证和cookie等；

4、有处理大规模数据的经验，对分布式爬虫有实际操作经验者优先。

5、良好的问题解决能力，善于沟通和团队合作，喜欢研究新技术，能够在压力下工作。