工作职责：
1.根据迭代需求，协同爬虫业务分析，完成各爬虫需求的开发和自测工作。
2.研究并分析目标网站的反爬机制，设计策略规避限制，如IP代理池、模拟用户行为等；定期更新爬虫策略，保持对复杂反爬机制的适应性。
3.持续完善和调优各种爬虫任务的监控告警，包括技术指标监控和业务指标监控。
4.及时响应处理各种爬虫任务监控告警，按要求解决恢复。
任职要求：
1.专科及以上学历，专业不限，计算机等理工科相关专业优先；
2.2年以上互联网爬虫开发经验，有海外电商/航司网站数据获取经验优先
3.熟悉python常用开发框架，熟悉异步编程、网页抓取原理、HTTP 协议等；
4.熟练掌握主流的爬虫框架和工具，能够灵活运用它们进行页面解析、数据提取和持久化存储；
5.具备解决常见反爬虫手段的能力，如处理js逆向、破解验证码、风控绕过等优先；
6.熟练使用mysql、redis、mongo、kafka 等中间件;
7.抗压能力强，学习能力强优先，具备独立思考能力。