岗位职责:
1.负责基于开源大模型进行领域适配和指令微调。设计和实施高效的微调策略(如LoRA, QLoRA, P-Tuning等),以提升模型在特定任务(如智能客服、内容生成、代码辅助、数据分析、图文理解等)上的表现。探索和实践大模型的预训练、继续预训练技术。
2.设计并开发基于大模型的应用程序架构,包括但不限于RAG系统、智能代理、多模态应用等。集成大模型API到公司产品中,并确保系统的稳定性、可扩展性和安全性。构建高效的数据处理管道,用于模型的训练、评估和部署。
3.对模型进行量化、剪枝、蒸馏等优化,以提升推理速度并降低计算成本。负责将模型部署到生产环境(云端或边缘),并持续监控其性能和资源消耗。解决模型在部署和推理过程中遇到的技术难题。
4.建立科学的模型评估体系,设计和执行全面的评测方案,包括人工评估和自动化评估。持续跟踪模型在生产环境中的表现,基于业务数据和用户反馈进行模型的迭代优化。
5.跟踪大模型领域的最新学术进展和技术动态,并探索其在公司业务中的应用可能性。
任职要求:
1、计算机科学、人工智能、数学或相关专业的本科及以上学历。具有1年以上的大模型开发和应用经验。
2、 精通Python,具备扎实的编程能力和良好的代码风格。熟练掌握PyTorch或TensorFlow之一,并了解其分布式训练机制。
3、具有使用Hugging Face Transformers、Accelerate、PEFT等库的实际经验(加分项)。深入理解Transformer架构,并掌握至少一种主流大模型(如GPT系列、LLaMA系列等)的原理和使用。掌握2种以上的大模型微调及RAG工具,具备工作流开发与智能体搭建的经验。
4、具备大模型微调的实战经验,熟悉Prompt Engineering、LoRA等参数高效微调方法。
5、熟悉Linux开发环境,掌握Git、Docker等开发工具,具备良好的软件工程素养。
6、对自然语言处理(NLP)基础任务(如文本分类、NER、语义理解等)有深刻理解。
7、熟悉大模型的评测方法、常见问题(如幻觉、偏见)及其缓解方案。