岗位工作明细：

1、负责猎芯采集系统的建设，

2、负责页面的抓取采集，处理网络数据抓取规划、汇总，具备搭建数据采集平台，建立爬虫系统，对数据的抓取、解析、调度、存储、维护等开发工作。

3、研究和破解各种反爬机制

4、负责采集系统的长期优化工作

任职要求

1、3年以上python开发经验

2、熟悉python主流开发框架，熟悉tonado，有akamai、datadome、perimeterx 、cloudflare 反爬经验优先

3、熟悉和了解Linux 、MongoDB、Redis、RabbitMQ的使用

4、了解和熟悉页面采集原理。。