岗位职责：
1.负责设计、开发与维护网络爬虫系统，支持多站点的数据采集需求；
2.实现网页及接口数据的抓取、清洗、结构化处理，保障数据质量与时效性；
3.分析网站或应用的反爬机制，进行请求还原、参数分析、JS 逆向等；
4.进行基础性能优化与问题排查，确保爬虫任务稳定运行；
5.编写高质量代码及相关文档，参与系统改进与工具开发；
6.与数据、后端团队协作，推进数据采集流程自动化与标准化。
岗位要求：
1.熟练掌握至少一种编程语言（Python/Java/C＋＋ 等），能独立完成中小型爬虫项目；
2.熟悉网页抓取原理和常用技术（正则、XPath、CSS Selector 等），熟悉常见爬虫框架（如 Scrapy、Requests、Playwright、Selenium 等）；
3.熟悉抓包工具（如 Fiddler、Wireshark、mitmproxy），具备基础的网络协议分析能力；
4.了解常见的 JS 加密、参数签名机制（AES、RSA、HMAC 等），能独立实现简单的 JS 逆向逻辑；
5.熟悉 Linux 开发环境与常用命令，能在服务器上部署和维护爬虫任务；
6.了解 MySQL、Redis 等数据库，具备数据清洗与简单 ETL 经验；
7. 具备良好的问题分析与解决能力，能在较少监督下推动任务落地；
8. 有责任心和团队合作精神，能快速学习新技术。
⸻
加分项
• 有中等规模分布式爬虫经验（调度、代理池、去重机制等）；
• 有复杂网站或移动端接口逆