岗位职责

1、负责设计和开发分布式网络爬虫系统、技术选型；
2、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、混淆加密，页面跳转等难点攻克，提升网页抓取的效率和质量；
3、参与分布式爬虫和数据采集系统的架构设计和开发，快速响应业务变动；
4、负责网络数据抓取规划、定期爬取指定网站的数据；
5、参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析；
6、对抓取后的数据进行清洗、存储等，并持续优化平台，以便满足各种爬取业务需求；
7、研究优化算法，提升爬虫系统的稳定性、可扩展性。

任职要求

1.熟悉js、html技术，熟悉如何逆向，混淆，熟悉多线程编程技术；
2.熟悉浏览器webdriver驱动技术；
3.熟悉常用数据库 如mysql、redis等；
4.熟悉RabbitMQ技术的使用；
5.拥有良好的代码习惯，要求结构清晰，命名规范，逻辑性强，代码冗余率低；
6.有大型网站爬虫项目开发经验优先；
7.熟悉android原理，android逆向，能编写android自动化脚本者优先；
8.有Java，.Net项目经验者优先；