自动化评测专家 - AI数据与安全

职位描述

团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。

团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。

1、调研公开评测方法，并将公开评测集集成至内部平台；

2、探索智能、高效的模型自动化评估方案，制定搜索、医疗等垂类方向的自动评估方案，探索主观题目自动评估链路；

3、制定大模型评估在应用方向的评估标准，制定题库设计方案，制定评测标准，并对题库整体质量负责；

4、和产品研发、标注团队共同合作，分析评估中反映出的负面案例，制定下一步模型优化的策略。

任职要求

1、本科及以上学历，计算机相关专业优先，英语能力佳者优先；

2、熟悉Python、SQL等编程语言，具备较强的程序开发、数据清洗能力，有运维背景优先；具备PE工程、Agent/Workflow搭建实践经验优先；

3、具备大模型训练或模型评估经验者优先，熟悉大模型评测方法；

4、具备英文文献阅读能力，了解AI领域最近发表的期刊，发表过计算机相关国际期刊优先；

5、了解公开评估集的构建方式以及指标设定；

6、有责任心和较强的团队意识，对人工智能有较强的兴趣，具备优秀的沟通协调能力和团队协作意识，有项目管理或团队负责人经验优先。