工作职责：
1、设计和实现高效稳定的爬虫程序，收集海量数据并进行处理和分析。
2、负责多平台信息抽取、数据清洗、入库、服务化等研发和优化工作。
3、解决实际开发过程中碰到的各类数据需求和接口问题。
4、参与业务需求讨论，负责业务需求到技术实现的方案落地与实施。
5、监控爬虫运行状态，日常处理数据抓取的稳定性和准确性问题。
任职要求
1、负责设计、开发和维护高效、稳定的爬虫系统，提升数据采集的效率和质量。
2、负责多平台信息抽取、数据清洗、入库、服务化等研发和优化工作。
3、熟悉各种爬虫框架和工具。
4、熟练掌握 Python、java语言编程。
5、熟悉Linux基础命令。
6、熟练使用主流开源框架及工具，如SpringBoot、SpringCloud、Maven、Redis、MyBatis等。
7、熟悉分布式系统的设计和应用，熟悉分布式、缓存、消息等机制。
8、有较大数据规模处理的实践经验者优先。