大模型推理工程师

职位描述

1、负责大模型推理平台的架构设计与研发，建设高吞吐、低时延的模型在线服务与调度系统；

2、深耕大模型推理性能优化，覆盖计算（Kernel/算子）、显存（KV Cache/量化）与通信（并行/集合通信）等维度，持续提升吞吐并降低时延与成本；

3、与算法团队紧密协作，将训练产出的复杂模型高效落地到推理平台，保障大规模集群的推理表现与线上稳定性；

4、跟踪业界前沿（如连续批处理、投机解码、分布式推理等），跟进并落地新技术，沉淀可复用的优化方案与工具链。

任职要求

1、本科及以上学历，计算机、软件工程等相关专业，2 年及以上高性能计算、分布式系统或大模型推理研发经验；

2、熟练掌握 C/C++、Python 等编程语言，具备良好的编程习惯与代码风格，能编写高性能、可维护的工程代码；

3、熟悉 PyTorch、TensorFlow 等深度学习框架与常用机器学习算法，了解模型从训练到推理的链路；

4、具备扎实的数据结构与算法基础，能够独立定位并解决复杂的性能与系统问题；

5、熟悉大模型推理优化技术（如 TensorRT-LLM、vLLM、SGLang、DeepSpeed、Megatron 等），有 GPU 加速、多核 CPU 或分布式推理系统经验者优先；

6、具备强烈的责任心与自我驱动力，善于沟通协作，能在高强度迭代下保持稳定产出。