职位描述
教育背景与工作经验
o 本科及以上学历,计算机相关专业
o 1 年以上数据采集工作经验
• 核心技能
o 精通 JavaScript 逆向工程
o 有主流站点 Web 端大规模数据采集经验
o 具备多类型验证码处理能力:包括滑块、点选、Google reCAPTCHA、
旋转验证码等
o 熟悉 APP 脱壳、逆向、反编译及自动化相关技术
o 具备 AST 反混淆 JavaScript 代码及 JSVMP 算法还原能力
• 附加技能(优先考虑):具有风控应对经验(如 Akamai 并发、Cloudflare 等
反爬虫策略处理经验)
3 岗位描述
3.1 负责大模型相关数据采集,包括不限于海内外文本,图片,音视频数据;
3.2 负责对目标网站或 APP 进行反爬突破、协议破解和提取关键数据;
3.3 负责反爬虫策略研究,代理、验证码识别等采集支撑服务建设;
3.4 参与大规模数据处理流程的设计与开发,包括但不限于数据采集、清洗、转
换、存储等过程。
4 服务范围与内容
4.1 服务目标
协助开展各类数据采集业务(包括但不限于预训练数据采集、全站数据采
集、文件文档下载等),针对多样化的需求种类,特别是定向采集、高定数
据字段以及目标站点反爬严重等情况,提供定制化解决方案。具体包含但不
限于以下内容:
1. 大模型相关数据采集
o 海内外文本、图片、音视频等数据采集
o 保证数据多样性及高质量
2. 反爬虫策略研究与实施
o 深度分析目标网站或 APP
o 突破反爬措施(协议破解、代理使用、验证码识别等)
o 提供反爬支撑服务建设
3. 大规模数据处理流程设计与开发
o 数据采集、清洗、转换、存储的全流程实现
o 确保数据准确性与可用
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕