岗位职责:
1.负责AI大模型及相关应用、智能体的评测工作，深入理解评测需求，制定并落地评测方案;
2.负责构建大模型评测能力平台，通过不断探索和创新，迭代提升评测效率及准确性；
3.对AI大模型进行功能测试、性能测试、稳定性测试、自动化测试等，确保系统满足用户需求及合规安全;
4.负责模型测试数据集的构建及维护，定期抽样真实对话数据并进行标注；
5.分析归因评测结果，编写测试报告，提出改进建议，协助研发团队定位并修复问题;
6.熟练使用LLM应用开发平台，开发并落地推广测试领域场景保险业务相关的智能工作流，助力测试工作提效。
任职要求:
1.计算机、软件工程、人工智能、电子信息等相关专业；
2.二年以上AI大模型应用测试工作经验，参与四项及以上AI大模型应用的测试工作，拥有保险领域契约、核保、理赔、营销、客户服务等场景AI大模型应用测试工作经验优先；
3.熟悉Java/Python/C++等至少一种编程语言；
4.熟悉AI大模型应用的测试方法、测试工具、测试数据集构建、测试指标体系等；
5.熟悉常见LLM、VLM评测方案，对业界常见的Benchmark、评测集有基础了解；
6.熟练使用LLM应用开发平台，如Dify、Langflow、Flowise等；
7.了解机器学习理论，包括深度学习、自然语言处理等技术；了解数据处理和分析方法，能够运用数据驱动的方法协助算法团队优化模型性能；
8.掌握软件测试设计方法，理解软件编程规范，了解软件自动化测试、性能测试基础方法和工具。