岗位要求：
1、负责爬取电商平台、内容平台或者短视频方向的网站数据，分析链接，转码等；
2、负责研究和破解各种反爬机制，优化爬虫性能，保障爬虫的稳定性和速度；
3、负责实现数据提取、清洗、结构化、入库、统计分析等需求；
4、负责爬虫系统的架构设计与开发；
5、能独立解决实际开发过程碰到的各类问题。
职位要求：
1、 本科及以上学历，计算机、信息技术等相关专业，具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先；
2、 三年以上开发经验，熟悉Linux平台,有大规模网页爬虫开发和分布式爬虫架构经验者经验优先；
3、 熟悉主流的python爬虫框架，如 pyspider，scrapy等；
4、了解常用反爬方式，有实际应对措施和解决方案，包括并不限于ip限制，指纹限制，数据加密，请求参数加密等;
5、有很强的分析解决问题能力；
6、强烈的责任心和良好的团队合作能力"