大模型推理加速优化工程师-急招

职位描述

1. 使用 PyTorch 开发与维护推理引擎。

2. 面向实际模型与实际硬件平台部署模型推理服务。

3. 面向实际模型与实际硬件平台对服务进行端到端性能优化。

任职要求

1. 计算机科学或相关专业。

2. 具有良好的学习能力和团队合作精神。

3. 掌握 Python、C++、C 等编程语言，有良好的编程能力。

4. 熟悉 PyTorch 框架。

5. 熟悉大模型的完整推理流程，熟悉不同情形下模型推理的计算、访存、通信行为。

6. 熟悉大模型分布式推理原理、调度原理、量化原理、国内外最新大模型发展者，或具备相关优化经历者优先。