AI高级评测工程师

职位描述

1.负责医疗 Agent 核心业务的质量评测工作，覆盖健康问问、AI 诊室、医保智能助手等场景，制定 Agent 全链路评测方案、准出标准、回归策略与质量风险判断机制；

2.建设医疗 Agent 评测指标体系，围绕意图理解、任务完成度、多轮追问有效性、信息收集完整性、工具调用准确性、RAG 检索与引用质量、结果生成质量、兜底与异常处理等维度进行系统化评估；

3.负责医疗复杂链路专项评测，包括 AI 问诊全流程、科室/服务匹配、医保政策问答与办理指引、多模态报告解读等场景，沉淀可量化、可复用的评测方法和评估标准；

4.推动 Agent 自动化评测与数据基准建设，建设高质量评测集、标准答案、链路 Trace 标注规范和评测流水线，结合人工评测、规则评测、自动化评测和 LLM-as-a-Judge 提升评测效率与稳定性；

5.建立线上 Badcase 分析与治理闭环，针对医疗安全、内容安全、隐私合规、诊疗建议边界等高风险问题，设计安全护栏评测策略，并推动算法、产品和研发团队持续优化。