Agent Harness 工程师

职位描述

1.Agent Harness 核心框架研发：负责 Agent 运行时的架构设计与实现，包括 agent loop 调度、Tool/Skill 抽象与注册机制、Context 组装与压缩策略、长任务的状态持久化与 checkpoint 恢复、Sub-Agent 并发编排、以及沙箱隔离与权限控制体系，为上层业务提供稳定、可扩展、可复用的 Agent 执行底座；

2.全链路 Tracing 与 Observability：设计并实现 Agent 执行全链路的可观测系统，对 LLM 调用、工具调用、重试与降级、Token 与成本消耗、上下文膨胀等关键环节做 Span 级建模与结构化埋点；建设延迟/成本/成功率归因分析能力，沉淀 failure mode 分类体系与异常告警机制，让 Agent 的"黑盒行为"可解释、可回溯；

3.Agent 质量评估体系：构建自动化 eval pipeline，覆盖离线 Benchmark、在线 A/B Testing、SBS 人工评测与 regression detection；设计任务级评测指标与 rubric（含 LLM-as-Judge、pass@k、轨迹级评分），建设评测集管理与 CI 门禁，使每次 Prompt、模型、工具变更都有量化的收益与回归判定；

4.Agent Debugging 工具链：开发面向研发的调试工具，支持 Trace 回放与单步执行、上下文与 Prompt 的 Diff 对比、工具调用链可视化、失败样本最小复现集自动提取；打通从线上异常 Trace 到本地可复现调试的闭环，显著缩短 Agent 问题定位周期；

5.支撑平台建设与工程化落地：参与标注平台、数据管道、任务集与轨迹数据仓库等核心支撑平台的架构设计与开发，为模型训练与 Agent 迭代提供高质量数据闭环；与 AI 研究团队零距离协作，第一时间承接最新模型能力，将大模型与 Agent 协同进化的研究成果工程化落地，并持续探索 AI Agent 在日常研发工作流中的深度实践。