大模型评测工程师(J17932)

职位描述

1. 负责大语言模型（LLM）及ASR（语音识别）、TTS（语音合成）、NLU（自然语言理解）等模块的评测体系构建，包括效果评估、功能验证、边界场景测试等。

2. 设计多维度评测方案，制定自动化评测工具开发策略，提升评测效率与覆盖率。

3. 深入分析模型输出结果，定位性能瓶颈并提出优化建议，推动算法迭代。

4. 与算法、产品、数据团队协作，输出可量化的评测报告，指导模型部署与应用。

5. 持续跟踪行业最新评测方法（如Prompt Engineering、红队测试等），探索创新评测范式

任职要求

1. 计算机、人工智能、语言学等相关专业本科及以上学历，3年以上模型评测经验。

2. 精通ASR/TTS/NLU领域评测指标（如WER、MOS、BLEU、ROUGE、意图识别准确率等）。

3. 熟悉PyTorch/TensorFlow框架，熟练使用Python及主流评测工具（如ESPnet、Fairseq）。

4. 具备全链路评测能力，包括测试方案设计、数据构造、自动化脚本开发、结果分析。

5. 良好的规划和协作能力。

加分项：

- 有开源项目评测经验（如Whisper、VITS、BERT系列模型）

- 熟悉多语种/方言/领域垂类模型评测

- 英语能作为工作语言