岗位职责:
1. 负责大模型训练所需数据的获取与生产,覆盖文本、音频、视频等多模态数据;
2. 搭建并维护多模态数据处理流水线,支持大规模数据的自动化清洗、质量校验等;
3. 参与数据筛选、数据增强、数据挖掘及人工反馈闭环,持续提升数据质量与训练价值;
4. 与算法、标注、平台工程团队协作,保障大模型训练、评测与业务交付的数据供给;
5. 推进数据生产链路的工程化建设,优化数据流转与处理效率。
岗位要求:
1. 工程能力扎实,能够快速上手数据类工作,具备良好的代码习惯和复杂问题拆解能力;
2. 熟练使用至少一种编程语言,具备大规模数据处理与自动化脚本经验;
3. 有实际的数据获取、下载、清洗、格式转换、质量校验经验;
4. 了解大模型训练数据形态,或有多模态数据处理经验者优先;
5. 认可数据是大模型核心竞争力,对数据质量、规模和效率敏感。
加分项(Nice to Have)
有爬虫、批量下载、内容解析或反爬应对经验;
有音视频处理、文本清洗、内容过滤、去重等经验;
熟悉 Linux 环境及多进程 / 分布式 / 批处理任务;
参与过大模型数据生产、清洗或评测体系建设。