1、负责网络爬虫及优化爬虫策略，进行国内外平台信息的抓取和分析。
2、完成数据采集与爬取、解析处理、入库等数据日常工作。
3、积极主动思考探索爬虫在实际业务中的价值，参与设计数据有效利用策略，从数据合理性、完整性角度提供建议。
4、把握网络爬虫核心技术研究方向，研究优化算法，提升爬虫系统的稳定性、可扩展性。
5、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量。
6、负责线上线下业务数据的提取、数据分析、报告输出、报表开发工作
7、与业务团队有效并高效沟通，能够站在数据分析及业务运营角度，引导并帮助业务团队拆解并定位问题，明确需求，通过对数据分析需求的准确理解及把握，为业务提供数据决策和策略支持。
任职要求：
1、本科以上学历，2年以上爬虫项目经验，具备良好的计算机专业知识，熟悉python等语言，有较强的数据处理能力，精通SQL，同时具备良好沟通能力和文档撰写能力；
2、熟悉爬虫原理，熟悉Scrapy、pyspider等主流爬虫框架框架，能够解决封账号、封IP、验证码、网页限制爬取等问题，且有实际经验。
3、熟悉Selenium、PhantomJS 、WebDriver等技术的应用。
4、熟悉Django、flask等web框架的使用，熟悉Hadoop、ElasticSearch等技术。
5、业务理解和分析转化能力较强，富有进取精神及团队合作精神，责任心强，善于合作沟通，能够承受压力。
6、有国外LinkedIn等社媒平台、海关数据的挖掘经验者优先。