AI大模型评测专家

职位描述

1. 基于车端应用场景，如智能驾驶决策、智能座舱交互等，构建全面、科学的大模型评测体系，涵盖评测流程、指标及方法，确保模型性能与安全性评估准确。

2. 制定并执行车端大模型评测方案，对语言理解、图像识别、决策规划等能力进行测试，分析结果，形成专业报告，为模型优化提供依据。

3. 收集、整理和标注车端评测数据集，保障数据质量与多样性；持续更新数据集，匹配不断发展的车端应用需求。

4. 开发自动化评测工具，提升评测效率；运用AI技术，优化工具性能，确保工具满足车端大模型快速迭代需求。

5. 跟踪行业趋势，探索新评测技术与方法，如强化学习评估、对抗样本测试等，应用于车端大模型评测，保持技术领先。

任职要求

1. 硕士及以上学历，计算机科学、人工智能、数学、统计学等相关专业。

2. 5年以上AI领域工作经验，3年以上大模型评测经验，至少主导过1个车端大模型评测项目。

3. 技术能力

- 熟练掌握Python、C++等编程语言，具备扎实的编程基础。

- 深入理解机器学习、深度学习算法，熟悉主流大模型架构（如Transformer等）及训练框架（如PyTorch、TensorFlow）。

- 精通大模型评测指标与方法，有构建评测体系和数据集的经验，熟悉常见评测工具（如BLEU、ROUGE等）。

- 了解车端系统架构与自动驾驶、智能座舱技术，熟悉车端大模型应用场景与挑战。

4. 具备优秀的数据分析与问题解决能力，良好的沟通协作与团队管理能力，能够在跨部门合作中有效推进工作 。