"岗位概述
1、负责设计和开发分布式网络爬虫系统
2、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码等难点攻克，提升数据抓取的效率和质量
3、负责爬虫核心算法和策略优化，提升爬虫系统的稳定性、可扩展性
4、实时监控爬虫任务的执行状况，及时处理爬虫异常
要求项
教育背景要求(专科及以上)
工作经验(3 年以上)
知识与技能(1. 有实际分布式爬虫系统开发经验，熟悉scrapy和scrapy-redis框架及其参数调优
2. 熟悉使用request,urllib模块进行源码下载；Xpath,BeautifulSoup,Re数据提取
3. 能够处理图片验证码、滑块验证码、二维码登录，短信验证码；JS反爬，APP抓取数据，多纬度获取数据
4. 熟悉使用selenium，appium，uiautomator2，参与手机群控系统的规划，设计与开发
5. 熟悉网络抓包工具charles，fiddler，mitmproxy抓包分析，请求包的伪造
6. 使用flask编写数据接口，查询elasticsearch，mysql，mogondb数据返回前端
7. 具有hadoop，hdfs，spark，kafka，elasticsearch等大数据使用经验)
其他(具有淘宝、抖音、小红书开发经验优先)"