大模型知识专项评测 （外包岗位）
职位描述：
1、根据业务目标制定评测方案、建设评估数据集，并能够站在用户视角和模型视角构建理想态答案并拆解考察点
2、在专业类问题下对模型回复效果或搜索效果进行定性和定量的评估分析，能够从全链路中进行问题拆解和分析，帮助产研侧定位问题并推动优化
3、清洗、整理文本数据，参与人工评估与自动评估、评估与标注数据的交叉验证，保证单位时间内的产出和质量，并尝试利用平台工具、PE工程不断提高工作效率和效果。
岗位要求：
1、硕士及以上学历，985或211优先；
2、在较多垂直领域有很好的涉猎，能够剖析专业、行业领域问题，物理、化学、生物、医疗、金融、法律等专业优先
3、有较好的搜索习惯，或大模型产品使用习惯，善于站在用户视角反馈体验问题，善于结合多角度反馈问题，有竞品分析经验优先 ；
4、对数据和文字敏感，文字理解及归纳能力强且擅长数据分析者优先；
5、做事细心，较强的沟通协作能力、执行力、复盘思考以及抗压能力
示例： 不需要有大模型背景，但是对大模型和AI必须了解，因为偏向做学术研究，硕士学历或者985/211优先；
对自己的行业论述必须要有自己的见解；学术派优先！更看重学科专业性，学霸优先。