AI智能体评测工程师

职位描述

- 业务系统测试：负责智能仪器、车联云、车端智能应用等产品的基础测试，积累智能体评测的业务领域知识。

- 搭建评测框架：构建针对RAG、Tool Calling、多步推理的自动化评测Pipeline，构建黑盒、白盒两级评测体系。

- 基准与数据集：深入分析业务需求并结合业务实际场景，构建并维护业务评测黄金集，构建智能体效果的benchmark，推动智能体优化迭代。

- 裁判模型建设：落地LLM-as-a-Judge、规则评测等能力，解决打分偏差问题，实现Agent每日回归测试。

- 缺陷归因：深度分析失败轨迹，通过对失败案例的深入分析，提出明确的系统优化建议并推动落地实施。

任职要求

本科及以上学历，计算机、自动化、人工智能、通信、电子、机械等相关专业。

- 拥有3~7年的新能源、设备制造、互联网等领域的智能体评测、测试开发、应用软件开发等岗位的工作经验。

- 至少精通Python/Java/Golang等主流语言之一，熟悉Pytest，能独立搭建自动化测试工程。

- 熟悉RAG、Function Calling原理、提示词工程、Harness工程等常见AI智能体系统构建能力，擅长复杂Prompt设计与调优。

- 加分项：有LLM-as-a-Judge实战经验；参与过AI应用的红队测试；熟悉LangChain或Dify源码。