中高级python爬虫工程师
2-3万
北京 本科
安华发展大厦
岗位职责：
1、负责设计、开发和维护分布式爬虫系统，提升爬虫效率并提高爬虫稳定性；2、维护并对现有爬虫程序进行性能调优，提升爬虫效率；
3、根据业务需求，抓取多平台网页、小程序等数据，并进行简单的数据处理及存储；
4、设计爬虫策略和防屏蔽规则，解决反爬问题，提升数据抓取效率和质量；
5、对抓取的数据进行深度提取和挖掘，为业务提供数据支持；
6、参与数据层建设，解决技术疑难问题，如复杂验证码破解、动态网页抓取等。岗位要求：
教育水平：本科及以上；专业：计算机相关；从事相关行业3年以上经验者优先。
专业能力要求：
1、精通Python语言，熟悉HTML、CSS、JavaScript、XPath、Ajax、正则表达式等技术；
2、熟悉网页、小程序、APP抓取原理及技术，熟悉常用的爬虫网络框架及组件；
3、熟悉MySQL、MongoDB、Redis等数据库，有数据清洗、存储经验；
4、熟悉反爬机制，能够解决账号限制、IP限制、验证码等问题；
5、熟悉分布式爬虫架构，具有搭建分布式爬虫系统的能力；
6、具备JavaScript逆向能力，验证码破解能力；
7、熟悉Linux系统，有数据挖掘、机器学习、自然语言处理（NLP）技术背景者优先；
8、具有帆软平台数据爬取经验优先；
9、了解SM2、SM4等国密算法优先；
10、具备良好的团队合作精神、沟通能力和问题解决能力。
以担保或任何理由索取财物，扣押证照，均涉嫌违法，请提高警惕