【岗位职责】
1、对指定的网站进行网页抓取、数据提取、破解反爬策略；
2、负责多平台信息抽取、数据清洗、入库、服务化等研发和优化工作；
3、参与开发和设计分布式网络爬虫系统，进行信息的抓取和分析工作；
4、研究优化爬虫算法，提升爬虫系统的稳定性、可扩展性；
5、独立解决实际开发过程中碰到的各类产品数据需求和接口问题。
【任职要求】
1、计算机相关专业专科或以上学历，3年以上相关工作经验;
2、精通Python 语言，精通scrapy或者其他常见开源爬虫框架；;
3、精通Charles等抓包工具，精通网页抓取原理及技术，精通正则表达式，熟练从结构化和非结构化的数据中获取信息;
4、对于常见网站的反爬技术如js加密混淆等有分析应用，对于app有一定的分析经验;
5、精通 selenium 、DrissionPage 等自动化抓取技术;
6、熟悉破解网站验证码、绕过机器人检测、APP脱壳、APP逆向反编译等技术;
7、熟练使用Mysql/MongoDB/Redis者优先;
8、责任感强、有较强的逻辑思维能力、沟通能力、抗压能力,对解决挑战性问题充满热情，具有良好的团队合作精神和敬业精神;
9、有海外站点实操经验者优先;
【其它】
薪资可面谈,根据能力而定。