AI大模型应用能力评测专家（自动评测方向） - AI数据与安全

职位描述

团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。

团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。

1、围绕AI大模型应用能力评估，建设垂类业务场景评测集、评测任务、标注规范和质检规则，覆盖多轮对话、复杂任务、多模态数据及真实业务链路；

2、负责模型评估标准体系建设，将业务目标、用户体验、模型能力和风险要求拆解为可执行的评估维度、评分标准、指标口径和评估SOP；

3、设计和迭代自动评估Workflow，理解LLM as a Judge的基本方法，能结合规则校验、模型评分、人工抽样复核、一致性校准等方式提升评估效率与结果可信度；

4、对模型输出进行评估、复核和负面案例归因，识别能力短板、问题类型和策略风险，并与产品、算法、运营、数据等团队协同推动问题闭环；

5、使用数据分析工具完成评估数据清洗、指标统计、抽样复核、趋势分析和报告输出。

任职要求

1、本科及以上学历，有AI评测产品、模型评测、数据评估、内容质量、AI产品运营等相关工作经验优先；

2、有自动评估相关实践经验，了解LLM Eval的基本框架，理解LLM as a Judge、规则评估、人工复核、评估集构建和指标校准之间的关系，有模型评估标准体系建设经验，能够从业务目标出发设计评估维度、评分标准、质量分层、质检规则和结果解释口径；

3、具备较强的结构化分析能力，能把抽象的用户体验、风格、人设、价值观、业务目标或模型能力拆解成可评估、可执行、可复盘的标准；具备基础数据处理和统计分析能力，熟练使用Excel/飞书表格；能使用SQL、Python或其他脚本语言进行数据清洗、统计分析、抽样和报告自动化者优先；

4、具备较强的闭环意识和负责人意识，能独立负责一个评估方向或专项任务，从需求理解、方案设计、执行交付到结论复盘完整推进；

5、具备良好的跨团队沟通能力，能和产品、算法、工程、运营、数据等角色对齐目标、拆解需求、推进落地并跟踪结果。