1) 职责描述

参与采集平台的设计和开发，确保数据采集的稳定性、准确性、及时性；

负责开源网站的爬虫程序开发，包括但不限于：新闻、官网、智库等各种类型的网页、音视频数据；

从结构化/非结构化数据中提取关键信息，完成数据清洗、消重、入库及服务化，确保数据质量与时效性；

与业务团队协作，分析需求可行性并提供数据解决方案，支持业务决策。

2) 任职要求

精通Python/Java，熟悉Scrapy、BeautifulSoup等框架，掌握正则表达式、XPath、CSS选择器等数据抽取技术；

熟悉HTTP/HTTPS协议、TCP/IP网络编程，具备JS逆向、APP脱壳或验证码破解经验者优先；

本科及以上学历，计算机相关专业，1年以上爬虫开发经验，有分布式系统或大数据处理（Hadoop/Spark）经验者加分;

熟悉Linux环境及数据库技术（MySQL/MongoDB/Redis），具备海量数据存储与调优能力。

3) 其他要求

逻辑思维强，能独立解决复杂技术问题，具备自驱力与团队协作精神。

对数据敏感，具有良好的逻辑分析能力和问题排查技巧；

具备良好的团队合作精神，能够适应快节奏的工作环境；

良好的跨团队沟通能力（与业务、分析师、运维协作）；