职位描述
岗位职责:
1.负责大规模数据的收集、清洗和预处理。在千亿级参数规模下,进行分布式训练(数据并行、模型并行、流水线并行),解决训练稳定性、效率问题;优化模型推理速度,应用量化(INT8/INT4)、蒸馏、剪枝等技术。
任职要求:
1.硕士及以上学历,3年及以上算法开发经验,精通Transformer等大模型架构;
2.熟练掌握指令微调(Instruction Tuning)、人类反馈强化学习(RLHF/RLAIF)等技术;
3.熟悉悉vLLM、、TensorRT-LLM、、ONNX,了解量化工具(GGML/AWQ);
4、具备C++/CUDAA对底层优化。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕