推理框架开发工程师/专家

职位描述

1. 负责大模型推理引擎的基础软件框架研发，构建高性能、高可靠的推理核心系统。

2. 对接上层大模型算法与部署组件，高效集成自研推理框架与异构算子库，实现端到端推理链路优化。

3. 参与设计并实现低开发门槛、用户友好的大模型中间层软件栈，提升模型部署效率与易用性。

任职要求

1. 计算机相关专业背景，基础扎实，熟练掌握 C/C++ 和 Python，具备良好的数据结构与算法能力，有系统级软件架构设计经验。

2. 熟悉大模型推理核心技术，熟悉 PagedAttention、FlashAttention、KV Cache 多级管理与跨节点传输、PD 分离 等关键机制。

3. 有 vLLM、SGLang、TensorRT-LLM 等主流大模型推理框架的使用或开发经验。

4. 熟悉 华为昇腾（Ascend）、沐曦 等国产 AI 芯片生态，具备相关平台适配与性能优化经验者优先。

5. 熟悉 NCCL/HCCL 等通信库，掌握分布式推理中的张量/流水线并行、显存优化等技术者优先。