岗位职责:
1、完成公司软件产品的开发、调试、单元测试、维护等工作；
2、研究并优化爬虫调度策略，提高抓取效率、成功率及内容覆盖率；
3、处理反爬机制、优化UA、IP池、动态调度等策略；
4、监控和优化爬虫集群性能，优化异常检测，爬取策略调优等机制；
5、协助技术文档、系统说明书、用户手册的编辑工作；
任职要求:
1.统招本科及以上学历，计算机或相关专业；
2.熟悉python，5年及以上经验，3年以上爬虫经验，能够独立完成开发任务；
3.了解Scrapy、PySpider等常用爬虫框架；
4.熟练掌握面向对象编程的理论和应用，熟悉动态库、网络编程、多线程编程等常用技术；
5.加分项：具备专业的反爬策略应对能力；