AI产品经理（模型评测方向） - 抖音运营

职位描述

团队介绍：负责抖音知识，兴趣，消费，生活，娱乐等垂类的创作者运营，主要目标为提升抖音内容供给，探索多元化的作者变现和商业模式，促进多领域的创作者更好地在平台经营和成长。同时也包括抖音中长视频、演出相关业务。

1、负责Agent评测体系建设，将内容专家定义的理想效果、评估标准、人工标准答案及判断依据，转化为可规模化运行的机评方案，探索不同评测方法，持续提升机评与专家判断的一致性、覆盖率和稳定性；

2、建立Agent能力归因体系，将评测结果定位到知识检索、工具调用、推理、策略及表达等具体环节，快速识别效果问题；

3、推动线上负面案例及评测结论转化为训练数据、Prompt优化、策略实验或模型优化方向，并完成效果验证；

4、建设“问题发现—机评归因—优化落地—回归验证”的持续迭代闭环，推动可标准化能力问题逐步实现自动发现和优化。

任职要求

1、有大模型应用、大模型Judge或模型数据相关产品经验；熟悉工具调用及常见模型后训练方法，理解评测数据如何转化为训练信号和能力优化方向；

2、具备较强的产品抽象能力，能够将专家的主观判断转化为清晰的评估标准、数据结构和可执行的机评方案；

3、具备扎实的数据分析和问题归因能力，能够通过样本分析、分桶评估及实验定位能力瓶颈；

4、具备较强的跨团队沟通和项目推动能力，能够协同内容评测、业务产品、算法及研发团队推动方案落地。