岗位职责：

1) 负责大模型测试、评测，包括文本大模型、多模态大模型；

2) 设计和实施大模型的评测方案，包含但不局限于准确率、鲁棒性、性能测试以及制定各种评测指标，对大模型进行全面评估，确保模型产品在不同的场景下的表现符合业务预期；

3) 与产品、开发、业务部门紧密合作，了解业务需求，确保模型评测方案的有效性；

4) 分析评测结果，识别大模型瓶颈与不足，提出优化方案，协助提升准确率与响应速度；

5) 跟踪最新评测方法，了解和使用AI大模型相关评测框架，提高评测效率和准确率；

6) 负责项目功能演示、比测、比赛等相关支持工作。

岗位要求：

1) 计算机、人工智能、自然语言处理等相关专业本科及以上学历；

2) 有大模型测试2年以上测试经验。对至少1到2款当前主流的大模型进行过评测；

3) 了解自然语言处理、机器学习的原理和技术应用；

4) 熟悉python/shell等一种或多种语言，能熟练使用linux操作指令；

5) 具备较强的数据分析能力和问题解决能力，能够快速定位和解决评测中发现的问题；

6) 具有创新性思维，独立思考解决问题的能力；

7) 具有良好的沟通能力和团队合作精神；

8) 能适应国内长短期出差。