岗位内容:

1.通过编写程序获取网站或APP上的数据，包括网页内容抓取、API接口调用等。

2.数据解析与清洗，对采集到的数据进行格式化处理，剔除无效信息，提升数据质量。

3.反爬策略应对，破解目标网站的IP封锁、请求频率限制、User-Agent检测等反爬措施。

4.设计并优化分布式爬虫框架，提升数据抓取效率和稳定性。

任职要求:
1. 具备较强的编程能力，熟练掌握 Python 或其他主流编程语言。
2. 具备一定的计算机基础，熟悉网络协议和 Web 技术，能够解决常见问题。
3. 具备良好的团队合作和沟通能力，能够与团队成员紧密配合完成任务。
4. 要求3年以上相关工作经验，大专以上学历。