狮子山实验室-大模型推理工程师(J33701)

职位描述

1.负责在 Blackwell / Hopper等下一代 AI 计算架构上进行高效算子开发与性能调优，推动算子与底层硬件协同优化；

2.与训练/算法团队紧密合作，共建解耦式、异步（Async）、流水线化推理与调度框架，提升整体推理吞吐与资源利用；

3.面向大规模服务化场景优化推理框架（如 vLLM、sglang、TensorRT、ONNX Runtime 等），提升离线与在线推理性能；

4.负责持续推进调度优化、批处理策略、内存复用、并发执行等技术，提高大模型推理效率；

5.负责在推理端引入前沿技术（如 FlashAttention、Kernel Fusion、Sparsity/通算融合技术），实现推理效率与成本最优。

任职要求

1.扎实掌握 GPU/AI 加速器架构（Blackwell/Hopper/Ampere 经验优先），能够从硬件角度进行性能分析；

2.熟悉通算融合、稀疏化执行、半精度/混合精度优化在推理中的实践；

3.深入理解推理调度优化、动态批处理、优化内存与带宽使用等；

4.有主导或参与大型推理框架性能优化经验（如 vLLM、sglang、TensorRT、ORT）；

5.熟悉 Python/C++/CUDA/OpenCL 等开发工具链，能够产出高质量、高性能代码；

6.有跨团队协作能力，能与算法/训练/DevOps 联动提升整体性能。