职位描述
985/211本科及以上学历,物理/化学专业,有高中数学/物理/化学/生物竞赛经历者优先;
英语能力强,可阅读分析英文题目解答;
熟悉国内外大模型及产品,能够阅读和理解相关文档;
具备逻辑思维和条理性,能够清晰、准确地传达信息和想法;
工作认真踏实,有责任心,具备较好沟通能力。
工作内容:
公开评测集数据质量评估:审校prompt、answer、评分标准是否准确,评测集范围为业界知名benchmarks,主要类别为理化生竞赛、数学竞赛、推理与规划等;
评测集构建:参与专业学科/数学等方向评测集构建相关工作;
评测结果摸底排查:从用户视角判断模型输出结果和判分质量高低,并输出评估标签和研判理由。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕