【基座大模型北斗实习】大模型多模态训练研究

职位描述

简介：多模态训练pretrain和posttrain的前沿研究，可根据个人背景和研究兴趣选择以下方向之一深入推进：

1、超长序列的高效pretrain训练方案。

2、基于投机采样的方式加速多模态RL的训练效率。

3、针对compute use场景的大规模agentic RL 高效训练方案探索。

任职要求

1、精通 C++/Python，熟悉 CUDA 编程、NCCL 通信库或 RDMA 网络优化；

2、具有很强的学习能力、复杂问题归纳梳理能力、沟通和团队协作能力，具备能够深度钻研技术的耐心；

3、至少深入研读过 Megatron-LM, vLLM, Sglang, VERL 其中之一的源码，并有过定制化修改或性能调优经历。

加分项目：

1、有很强的学术研究能力和优秀的学术成果(AI领域顶会/顶刊论文)；

2、熟悉RL的基础算法，包括PPO、GRPO等经典RL算法。