职位描述
主要职责:
(1)大模型训练与调优:设计、实施并优化大模型的训练流程,包括数据准备、模型架构选择、超参数调整、分布式训练策略制定与执行。具有实际参与大型深度学习模型(特别是Transformer-based模型,如BERT, GPT系列, T5, LLaMA, 多模态模型等)训练项目的经验。
(2)模型开发与实现:参与或主导大模型的研发、复现、改进和适配工作。
(3)性能优化:解决大模型训练中的性能瓶颈(计算、通信、内存),进行显存优化、计算效率提升和通信优化。
(4)技术栈应用:熟练运用主流的大模型训练框架和工具(如PyTorch, TensorFlow, DeepSpeed, Megatron-LM, FSDP, Hugging Face Transformers等)。
(5)数据处理:设计和管理用于大模型训练的海量、高质量数据集,包括数据清洗、预处理、增强和安全管理。
(6)模型部署与应用探索:探索训练后模型的部署方案(如推理优化)及其在具体业务场景(如智能问答、内容生成、代码辅助、知识管理、AIGC等)中的应用潜力。
(7)技术跟踪与分享:跟踪大模型领域的前沿技术动态,并在团队内进行技术分享。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕