岗位职责:

1.负责数据采集系统的搭建与维护；

2.对接数据平台，提供稳定可靠的数据源；

3.负责数据采集组件的升级；

4.负责海外网站数据采集，解决语言、地域限制等问题；

5.处理网站反爬策略（IP封锁、请求频率限制、User-Agent检测等）；

6.突破封IP限制，使用代理IP池（住宅IP/数据中心代理）进行轮换；

7.具有PDF、excel、word文件，音、视频类型的爬取经验。

任职要求：

1. 本科及以上学历，3-5年工作经验，熟悉HTTP、HTTPS等网络协议及数据抓包、分析；

2.熟练使用工具进行JS调试或App调试；

3.熟练掌握Python开发语言，能够独立完成系统的开发工作；

4.有团队管理经验优先；

5.对新技术有热情。