1、负责网络爬虫系统平台的架构设计与开发，完善和重构现有采集系统及服务（如抓取调度，多样化抓取，页面解析和结构化抽取

2、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点，提升网页抓取的效率和质量

3、负责后台爬虫数据的分布式存储设计以及代码实现；

任职资格：

1、 计算机科学相关专业本科及以上学历；5年以上Python开发经验，3年以上的爬虫技术开发经验。

2、熟悉使用Python编程语言并熟练掌握MySQL、Redis等数据库的使用

3、熟悉linux、https协议、精通python语言，熟悉主流的开发框架

4、熟练使用requests包、xpath、正则

5、能独立解决实际开发过程碰到的各类疑难杂症

加分项：

了解相关 APP 逆向技术、js 逆向和反编译等逆向工程能力。