汽车行业Agent评测产品经理 - 火山引擎

职位描述

团队介绍：火山引擎是字节跳动旗下云和AI服务平台，将字节跳动快速发展过程中积累的增长方法、技术能力和应用工具开放给外部企业，通过云和AI技术，推进企业智能化转型，激发增长潜能。

1、负责汽车Agent日常评测体系的建设和执行，在评测负责人指导下完成评测集建设、版本评测、问题分析和质量闭环；

2、围绕真实车载用户任务设计和维护E2E评测案例，覆盖车控、导航、多媒体、信息服务、复杂Agent任务等核心场景；

3、负责评测案例的持续建设，包括：

1）从真实用户反馈和线上数据中提取高价值场景；

2）将历史负面案例转化为可持续回归的评测案例；

3）补充不同车辆状态、乘员状态、执行条件和异常条件下的风险案例；

4）建立不同车型、版本和模型之间可比较的稳定评测集；

4、参与版本评测执行，完整记录“用户表达→Agent理解/决策→系统执行→实际结果”，判断任务是否真正完成，而非只评价模型回复文本；

5、对评测结果进行数据分析和负面案例分类，识别意图理解、模型推理、Agent策略、Tool调用、车端执行、状态返回等不同环节的问题，跟进重点问题修复，维护问题清单和回归案例，确保问题能够被验证关闭，避免相同问题在后续版本重复出现；

6、参与自动化评测能力建设，与算法和研发共同探索模型自动打分、规则评测、LLM-as-a-Judge等方式，提高评测效率和覆盖规模，参与实车体验、用户盲测和专项评测，对汽车Agent的真实用户体验保持长期敏感度。

任职要求

1、2年以上产品经理工作经验，覆盖AI、智能汽车、语音助手、测试/质量或互联网产品领域；

2、逻辑严谨，对产品细节和异常案例敏感，能够把一个模糊的“体验不好”拆解成具体、可复现的问题；

3、具备较好的数据处理能力，能够使用Excel/SQL等工具进行基础数据分析；会使用Python或AI Coding工具进行数据处理、评测自动化者优先；

4、对大模型和Agent有基本理解，愿意深入理解模型、Prompt、Tool Calling、Context等机制；

5、执行力强，能够长期维护评测集、跟踪版本和问题闭环，同时能够从大量案例中总结共性规律；

6、对汽车产品有兴趣，有智能座舱、车控、导航、多媒体相关经验优先。