资深模型训练优化工程师

职位描述

负责大模型训练框架研发，主要包括：

1. 基于高性能训练框架（如 Megatron-LM、DeepSpeed、VeRL）或推理框架（如 SGLang、vLLM）进行二次开发与优化；

2. 分析并优化训练阶段的性能瓶颈，包括显存占用、通信延迟、计算效率等；

3. 结合模型算法逻辑，设计和实现针对性的高效分布式并行训练策略；

4. 深入研究 CUDA、通信框架（NCCL、RDMA 等），开发高性能算子及优化分布式通信效率；

5. 配合算法需求，开发 RL 训练框架、迭代 RL 训练算法逻辑，并优化 RL 训练效率。

任职要求

1. 学历背景：统招本科及以上学历，计算机相关专业，具备扎实的理论基础和强大的动手能力；

2. 编程能力：

1. 熟悉 Python/C++/CUDA/CUTLASS/Triton 编程，熟悉 PyTorch 框架及其底层实现；

2. 熟悉分布式系统开发与调试，熟悉分布式通信开发 NCCL/IB/RDMA，有多进程调度与并行算法优化经验者优先；

3. 训练与推理经验：

1. 熟悉大模型结构与算法（LLM/VLM/VLA/DiT、MoE 架构、各种 RL 算法 等）；

2. 熟悉分布式训练/推理的常用策略（DP/TP/PP/EP/CP、recompute 等）；

3. 有训练框架（如 Megatron-LM、DeepSpeed、VeRL）或推理框架（如 SGLang、vLLM）开发与优化经验；