职位描述
1、负责LLM大语言模型评测工作，包括但不限于评测数据收集和更新、标注规则制定、标注培训和规则拉齐、标注质量质检以及评测报告输出；
2、参与LLM大语言模型算法效果分析、问题挖掘归因，找到模型的短板并针对性提出模型改进；
3、对LLM基座模型和应用模型进行效果评测，以及产品化后的端到端效果评测、质量验收；
4、站在用户角度，对产品、算法提出建设性的意见，在评测参与的各个流程中以用户视角保证产品体验；
5、参与行业前沿模型跟踪和调研，并与自研模型完成周期性的竞品对比。
任职要求
1、本科及以上学历，计算机、通信、人工智能、大数据、统计等相关专业优先；
2、有LLM评测、AI算法测试、LLM数据标注任一工作经验优先；
3、有自动化测试平台使用工作经验优先；
4、有代码编写经验优先，或者能运行脚本处理一些简单的数据文件优先；
5、熟练使用word、excel等办公工具；
6、具备良好的沟通和协作能力，严谨的工作态度与高质量意识，逻辑清晰、思维敏捷，善于分析与总结；