岗位要求：
1、负责软件项目的系统分析、设计及开发工作，根据项目计划，完成模块的设计、编码、测试以及相关文档的编写；
2、负责设计开发爬虫系统以及优化爬虫策略，进行多平台信息的抓取和分析
3、设计爬虫策略和防屏蔽规则，完成对复杂网站信息抓取
4、参与业务功能需求探讨，数据分析处理落地，并提供后端接口
任职资格:
1、具备java开发经验，有大型项目关键模块开发、架构设计经验；
2、熟练常见反爬机制，IP代理池、headers认证和cookie等;
3、对HTTP协议及HTML有深入理解，精通正则，xpath等，熟练从结构化和非结构化的数据中获取信息；
4、熟练使用python，熟练爬虫开发，熟练使用scrapy、selenium开源框架，1年及以上python爬虫经验。