AI 评测工程师

职位描述

- 参与大模型基模评测体系建设，主攻文本方向，建设包括但不限于code、agent、cowork等多场景评测集合，统筹全方位评测集合建设，公正正确科学地观测模型能力；

- 主导开发自动化、可扩展、可靠的评测系统和benchmark 搭建流程，提高自动评估的占比，缩短评测周期；

- 针对阶段性迭代重点、行业变化，构建和动态调整评测集，持续探索模型/Agent能力边界；

- 对模型/Agent能力深度分析，明确当前版本的优势与缺陷，拦截能力下限问题；

持续追踪大模型行业发展，对重点版本模型/Agent进行横向对比评测,量化行业能力水平。

任职要求

- 本科及以上学历，计算机、数学等相关专业优先；

- 熟悉python、go等编程语言,有较强的工程能力；

- 具有出色的分析、解决问题的能力,有自主探索解决方案的能力者；

- 有模型、Agent、AI产品评测经验者优先；

- 对模型评测充满兴趣，对开源benchmark数据集有研究经验者优先。