岗位职责：

1.负责采集系统的架构设计,系统搭建

2.负责各类数据源（API、数据库、网页）的数据采集、清洗、转换与入库；

3.搭建与维护稳定高效的数据采集系统，确保数据采集的准确性、完整性与时效性；

4.分析数据源结构与变化，制定字段映射、清洗规则和更新策略；

5.针对目标站点的反爬策略设计并实现有效的绕过方案；

6. 编写数据采集文档与接口说明，支持数据管理与审计合规需求。

7.及时解决爬取过程中出现的问题并不断优化程序

任职资格：

1.计算机相关专业毕业，3年以上数据开发经验；

2.熟练掌握 Python，具备丰富的 HTTP 请求模拟、抓包调试、异步编程、数据解析能力；

3.熟悉常见数据采集方式（如 RESTful API 调用、网页爬虫、日志采集）与数据清洗与转换技术；

4.熟悉数据采集相关框架或工具（如 Scrapy、Logstash、NiFi、Flume、Kafka、Flink）；

5.熟悉 JavaScript 语言，具备 JS 加解密逆向能力，可独立实现复杂参数构造、签名还原、AES/MD5/RSA算法实现等；

6. 熟悉常见反爬机制及绕过方式，如验证码识别（图形/滑动/点选）、UA/IP切换、请求混淆、Headless Browser 等；

7.具备小程序抓包与接口还原能力，了解小程序数据通信机制；

8.有 App 采集经验，熟悉抓包工具（如 Charles、Fiddler、Wireshark、mitmproxy）、Hook 工具（如Frida、Xposed）；