岗位职责：
1 通过Scrapy、pyspider、Requests等主流爬虫框架和库提升自动化效率；
2 负责独立爬取企业数据相关、内容平台或者网站数据；
3 解决常见风控/接口加密策略、JS混淆、IP封禁、字体加密、验证、APP抓包等；；
4 研究平台反爬策略、优化爬虫算法，提升爬虫稳定性、效率和质量；
5 维护Mysql数据库结构，通过SQL优化能力提升数据处理/加载效率；
岗位要求：
1 本科及以上学历，有三年以上Python爬虫经验，计算机、信息技术、AI等相关背景优先；
2 具备大规模分布式爬虫系统设计和开发经验，能够解决分布式爬虫中的挑战和问题，如任务调度、数据同步和去重等；
3 熟悉xPath、正则表达式等数据提取技术，对网页结构和CSS、JS有深厚功底；
4 有大数据数据清洗和存储经验的优先。