职位详情
LLM 数据工程与微调研发实习生
150-210元/天
中城交(上海)科技有限公司
上海
本科
09-03
工作地址

上海市-徐汇区-云视路1号星云1号大厦2楼

职位描述
一、核心职责

1. 训练数据处理与生成:针对 LLM 训练需求,清洗并规范化多源数据(文本 / 表格 / 日志),完成数据脱敏、去重、去噪,输出符合训练标准的语料;结合交通 / 政务 / 停车等业务场景,设计提示词模板与采样策略(含 system prompt、shot 数量、temperature/top-p 参数),批量生成高质量问答对与指令数据,并搭建 “生成 - 过滤 - 审校” 闭环机制,保障数据质量。

2. 微调数据流水线构建:负责 LLM 微调数据全流程搭建,涵盖数据切分、格式适配(Alpaca/ShareGPT 规范)、多轮质检与版本化管理,确保数据链路可追溯。

3. LLM 微调执行与协助:执行并协助团队完成 LLM 参数高效微调任务(LoRA/QLoRA/PEFT),实时监控训练关键指标(loss、grad norm、VRAM 占用、TPS 等),输出可复现的训练脚本,配合团队优化微调效果。

4. 模型评测与验收:开展 LLM 离线基准评测(Exact-Match、F1、ROUGE、BERTScore、长度惩罚等指标),针对交通 / 政务 / 停车等领域数据集进行专项测试,对比基线模型与 A/B 测试结果,输出评测报告。

5. 文档与知识沉淀:梳理并沉淀岗位核心知识资产,包括 LLM 训练数据标准、提示词库、模型评测报告、模型迭代变更记录(changelog),支撑团队技术复用。

二、任职要求

1. 学历与实习时长:计算机、数据科学、人工智能等相关专业在读(本科及以上);每周可到岗≥3 天,连续实习≥3 个月,能稳定参与项目迭代。

2. 基础技术能力:熟练掌握 Python 编程(必备);具备正则表达式应用、SQL 结构化查询能力;扎实掌握 Linux 操作系统基础与 Git 版本控制(如分支管理、提交规范、冲突解决)。

3. 模型认知基础:熟悉 Transformer 模型核心原理(如 Tokenization、上下文窗口机制),理解 SFT(监督微调)、指令微调及模型对齐的核心逻辑,能清晰区分不同微调方式的适用场景。

4. 工作能力要求:具备快速试错与迭代意识,能基于数据验证提示词优化效果,以 “产出高质量结果” 为导向,主动推进任务落地。

三、加分项

1. 微调与工具经验:了解 LoRA/QLoRA 等参数高效微调技术,或使用过 DeepSpeed/Accelerate(训练加速)、vLLM/TGI(推理部署)工具;有 HuggingFace Transformers、LlamaFactory 实操经验者优先。

2. 评测能力储备:使用过 lm-eval-harness、OpenAI Evals 等 LLM 专业评测框架,或有自建领域评测集(如交通 / 政务场景)、设计评测指标的经验。

3. 数据与开源经验:参与过数据标注、众包质检、合成数据治理项目;曾向开源社区(如 HuggingFace、LlamaFactory)提交过 PR 并被合并者优先。

四、技术栈(含应用场景)

类别 核心技术及应用说明

数据处理 Python/Pandas(数据清洗、分析与格式转换)、SQL(结构化数据查询与提取)

模型训练 HF Transformers/PEFT/TRL(LLM 基础训练框架)、LoRA/QLoRA(参数高效微调)、DeepSpeed/Accelerate(训练加速)、BitsAndBytes(低精度训练)

服务与评测 vLLM/TGI(LLM 推理部署)、FastAPI(简单服务搭建)、lm-eval-harness(评测框架)、Weights & Biases/Grafana(指标监控与可视化)

协作与工具 Jupyter(数据探索与脚本调试)、VS Code(代码开发)、Git(版本控制与团队协作)

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请