岗位职责:
1. 高难度数据采集:负责核心业务线网页端及APP端公开数据采集,主导设计和实现高可用、可扩展的分布式爬虫架构。
2. 逆向工程攻坚:针对头部互联网APP(如美团、抖音、微信、滴滴等)进行深度逆向分析,独立破解其客户端加密协议、复杂签名算法(Signature/Token)及代码混淆机制。
3. 动态调试与破解:实战应用Frida、IDA Pro等工具链,对SO层(ARM/ARM64指令集)的混淆、VMP(Virtual Machine Protection)加固进行动态调试、脱壳与算法还原。有Unidbg模拟执行经验者优先。
4. 风控策略突破:设计并实现高仿真度的用户行为模拟方案,攻克主流平台的设备指纹、行为轨迹、人机识别等风控体系,以支持秒杀、内容抓取等关键场景。
5. 网络协议分析:精通使用Wireshark、BurpSuite、Mitmproxy等工具,对TLS/HTTP2加密流量进行解密、分析、拦截与脚本化重放,解决各类疑难抓包问题。
任职要求:
技术能力
● 精通 Python/Java 等编程语言,具备独立完成爬虫开发及维护的能力;
● 熟悉 Scrapy、Selenium、Requests 等主流爬虫框架及工具;
● 深入理解 HTTP/TCP 协议,熟练使用 Fiddler、Wireshark 等抓包工具分析网络请求;
● 掌握分布式爬虫、代理 IP 池构建、数据去重等进阶技术者优先;
● 具备大数据量(TB 级)处理经验及性能优化能力者优先。
● 具备App逆向经验者优先
项目经验
● 需提供 1-2 个完整爬虫项目案例(需涵盖网页端或 App 端),需说明项目规模、技术难点及解决方案;
● 有电商、社交媒体、旅游等领域数据抓取经验者优先。