职位描述
1、本科及以上学历计算机相关专业
2、2年及以上工作经验
3、语言三选一 Python / Go / Shell
工作内容:
1. 负责大模型训练所需数据的获取与生产,覆盖文本、音频、视频等多模态数据,包含数据挖掘、批量下载、解析、清洗、去重、结构化与版本管理;
2. 搭建并维护多模态数据处理流水线,支持大规模数据的自动化清洗、质量校验、统计分析与持续迭代;
3. 结合大模型能力与规则/模型手段,参与数据筛选、数据增强、数据挖掘及人工反馈闭环,持续提升数据质量与训练价值;
4. 与算法、标注、平台工程团队协作,保障大模型训练、评测与业务交付的数据供给稳定高效;
5. 推进数据生产链路的工程化建设,优化数据流转与处理效率,构建可复用、可扩展的数据生产体系。
岗位要求:
1. 工程能力扎实,能够快速上手数据类工作,具备良好的代码习惯和复杂问题拆解能力;
2. 熟练使用至少一种编程语言(Python / Go / Shell 等),具备大规模数据处理与自动化脚本经验;
3. 有实际的数据获取、下载、清洗、格式转换、质量校验经验,能独立完成从原始数据到可用训练数据的全流程;
4. 了解大模型训练数据形态(如预训练、SFT、评测数据),或有多模态数据处理经验者优先;
5. 认可数据是大模型核心竞争力,对数据质量、规模和效率敏感,愿意长期深耕数据工程方向。
加分项(Nice to Have)
有爬虫、批量下载、内容解析或反爬应对经验;
有音视频处理、文本清洗、内容过滤、去重等经验;
熟悉 Linux 环境及多进程 / 分布式 / 批处理任务;
参与过大模型数据生产、清洗或评测体系建设。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕