【基座大模型北斗实习】大模型推理前沿研究

职位描述

简介：打造 world class，production ready 的大模型推理引擎，可根据个人背景和研究兴趣选择以下方向之一深入推进：

1、异构硬件高性能推理算子研究与开发。

2、Model System Co -design，充分利用硬件特性。

3、Scale up & scale out 分布式推理系统设计，高效可靠的推理调度体系。

4、投机推理算法研究与落地。

5、模型/KVCache 量化算法研究与算子开发。

任职要求

1、具有扎实的编程功底，熟悉 C++/CUDA 编程最佳；

2、深入理解 Transformer/MoE/Attention 等 LLM 概念；

3、熟悉 RDMA，PD 分离等技术；

4、有一手的开源推理引擎使用/开发/调优经验最佳。