岗位职责:
(1)负责NLP通用大语言模型(智慧应急与安全生产领域)的设计、开发和优化,包括但不限于预训练、SFT、指令微调、RLHF、Prompt工程、模型评估、模型推理等。优化和改进现有的算法和模型,以提高效果和性能,包括模型的准确度、速度和内存占用等方面。
(2)收集和整理相关的语料库和数据集,用于训练和评估模型的性能。进行实验和评估,验证和改进算法和模型的效果。
(3)主导分布式训练系统的设计与实现,完成NLP算法在大规模多模态数据集上的训练与优化,推动算法高效落地。
(4)跟踪大语言模型相关领域的前沿动态研究和探索,并与智能交互应用场景相结合,参与制定系列算法/大模型解决方案。
任职要求:
(1)计算机、自动化、数学等相关专业,硕士或以上学历。
(2)具备扎实的分布式训练工程经验,熟悉分布式深度学习框架(如PyTorch Distributed、Horovod、TensorFlow TPU)及大规模模型训练优化策略。
(3)具备NLP算法开发经验,熟悉主流NLP技术(如Transformer、BERT、LLM)及多模态融合方法,有分布式训练实践者优先。
(4)熟悉数据增强与清洗策略,有大规模多模态数据(图文对、视频-文本、语言指令)处理及训练经验者优先。