用工形式:人力服务外包
岗位要求:
1、负责构建和完善大模型的评测基准,设计评测维度和方法,并跟踪业界前沿技术保持评测体系的先进性;
2、开发和维护自动化评测框架与工具链,提升模型迭代效率;
3、执行模型评测并深入分析结果,通过量化分析定位模型能力的短板和瓶颈,撰写评测报告,为微调团队提供改进建议,推动模型能力提升。
岗位职责:
1. 具有良好的沟通协调能力、逻辑思维能力和学习能力;
2、2年以上工作经验,熟练掌握Python编程及PyTorch等深度学习框架;
3、了解大模型基本原理和评测方法,能够独立构建评测集,设计科学的评测方案。