工作职责：
1、设计和实现高效稳定的爬虫程序，收集海量数据并进行处理和分析。
2、负责多平台信息抽取、数据清洗、入库、服务化等研发和优化工作。
3、解决实际开发过程中碰到的各类数据需求和接口问题。
4、参与业务需求讨论，负责业务需求到技术实现的方案落地与实施。
5、监控爬虫运行状态，日常处理数据抓取的稳定性和准确性问题。
任职要求
1、负责设计、开发和维护高效、稳定的爬虫系统，提升数据采集的效率和质量。
2、负责多平台信息抽取、数据清洗、入库、服务化等研发和优化工作。
3、熟悉各种爬虫框架和工具，把握网络爬虫核心技术研究方向,研究优化算法,提升爬虫系统的稳定性、可扩展性。

4、熟练掌握 Python语言编程。
5、熟悉Linux基础命令。
6、精通python编程语言，熟悉scrapy等常用数据抓取框架以及原理，熟悉网页信息和APP数据抽取，能够设计分布式爬虫系统框架。

7、熟悉分布式系统的设计和应用，熟悉分布式、缓存、消息等机制。
8、精通 Charles等抓包工具，精通网页抓取原理及技术，精通正则表达式，熟练从结构化和非结构化的数据中获取信息。9、精通 selenium 、DrissionPage 等自动化抓取技术。