岗位职责:
1、负责生成式大模型预训练相关的工作,包括但不限于:大规模模型预训练,长文本预训练,线性模型结构探索;
2、负责大型语言模型的研发、优化与维护,涵盖数据准备、模型训练、参数调优等全方位工作;
3、深入探究通用人工智能与自然语言处理的前沿技术,推动模型在泛化、推理、性能和效率等关键技术指标上的持续进步;
4、与团队紧密协作,攻克大型语言模型开发中的技术挑战。
岗位要求;
1、拥有计算机科学、数学、物理、人工智能或自然语言处理等相关领域的硕士或更高学位;
2、扎实的编程基础、数理基础和预研能力,熟练使用 Pytorch/TensorFlow等至少一种主流深度学习框架;
3、具有 3 年以上算法开发工作经验,对自然语言处理和机器学习有深刻理解,具备Megatron-LM、DeepSpeed等大模型训练框架的优化经验;
4、有NLP/ML顶会发表经验者(ACL/EMNLP/NeurIPS等)优先;
5、具有出色的团队协作和沟通能力,能在快速变化的工作环境中保持效率。
其他信息