大模型评测产品经理 - AI数据与安全

职位描述

团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。

团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。

1、参与评测体系与平台能力建设：围绕评测集、采样、机评可信度、评测报告和数据闭环规划平台能力，并深入了解Taxonomy、题目、GT和Rubric等评测集的构建过程，建立对模型能力和评测方法的系统认知；

2、深入豆包与Seed核心场景：与评测PM、算法、训练PM和运营共同工作，理解模型训练、产品迭代和效果评估中的真实问题，接触一线的大模型研发方法与业务判断；

3、将复杂需求沉淀为平台能力：从不同业务场景中提炼共性问题，在定制化与平台化之间做取舍，建设标准化、可配置、可复用的评测能力；

4、推动评测真正驱动模型改进：不只展示评测分数，还需要理解模型表现、识别能力短板、分析问题原因并提出改进方向，推动评测结果转化为验证评测集和数据生产建议，真正进入模型迭代闭环；

5、用更高效的方式做产品：可以使用AI工具、低代码、原型或简单脚本快速验证方案，但工具只是手段，产品判断才是核心。

任职要求

1、2年以上B端、平台型或数据类产品经验，具备独立负责产品模块的能力；

2、善于从复杂、模糊的业务问题中提炼核心需求，形成清晰的产品方案；

3、具备平台化思维，能够判断标准化与定制化、长期建设与短期交付之间的取舍；

4、有良好的数据意识和跨团队推动能力，能够与算法、研发、评测PM和运营高效协作；

5、对大模型、AI产品或评测方向有兴趣，愿意持续学习。

加分项：

1、有AI、大模型、数据平台、实验平台或研发工具类产品经验；

2、能使用AI工具、低代码或脚本完成数据分析和快速原型；

3、对模型评测、LLM Judge、Agent评测或数据闭环有一定了解。