职位描述：
1、分布式采集系统的开发，参与采集系统存储，传输，调度，监控的设计与研发；
2、对JS逆向与APP逆向有一定的了解，能够及时解决常见的逆向问题；
3、研究采集策略和防屏蔽规则，解决算法还原，so层，页面跳转等难点攻克，提升网页抓取的效率和质量；
4、负责数据采集系统平台的维护与更新（如抓取调度，多样化抓取，页面解析和结构化抽取）、技术选型；
任职要求
1. 统招本科及以上学历，计算机等相关专业，具备Python或Java开发经验；
2. 熟悉自动化测试框架，如appnium，selenium等；
3. 熟悉爬虫及反爬原理和逆向分析，熟悉常用技术框架（如Scrapy、Pyspider、RPA等）
4、熟悉JS逆向以及app逆向、熟悉各种通用加密算法、掌握各种常用逆向工具；
5、有一定应对数据采集限制的经验，有一定的app逆向经验者优先；
6、熟练掌握kafka、mongodb、mysql、redis等， 了解分布式，有分布式爬虫开发经历更佳