【欢迎大三或者研三在读生投递】【要求每周可全勤到岗，不接受线上实习】

岗位职责：
1、负责多平台信息爬取和页面内容的提取分析；
2、分析各种网站、网页、链接的形态，分析网站数据结构，提取业务需求数据；
3、解决技术包括反爬、采集速度等问题；
4、爬取数据处理、清洗、入库，数据质量核对。

岗位要求：
1、能够完成爬虫技术设计和开发，找寻相关网站，并从中爬取数据、信息入库整理；
2、熟悉python语言、熟悉scrapy及其拓展模块；
3、熟悉Mysql、MongoDB等数据库的使用；
4、熟悉HTTP协议，掌握Session、Cookie、Ajax等，了解常用验证码识别技术；
5、能够维护和优化已有的爬虫服务，按需求做增量采集，数据监控，拓展数据源；
6、能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题，构建完善的网络信息收集平台；
7、熟悉Linux常用命令、docker容器技术和git技术者优先。