大模型量化工程师

职位描述

1. 面向实际模型与实际硬件平台，对大模型进行量化。

2. 开发维护推理引擎中的量化推理功能。

3. 开发维护大模型量化工具。

任职要求

1. 计算机科学或相关专业。

2. 具有良好的学习能力和团队合作精神。

3. 掌握 Python、C++、C 等编程语言，有良好的编程能力。

4. 熟悉主流的大模型训练后关于权重、激活值的整数、浮点数量化方法。

5. 熟悉 PyTorch 框架和大模型的完整推理流程。

6. 熟悉国内外最新大模型量化方法者优先。

7. 有量化算子开发经验者优先。