【大模型北斗实习】基于多模序列建模提升原生多模态大模型智能水平

职位描述

原生多模旨在统一理解与生成，从而用同一套范式处理文本、视觉、语音等各个模态的数据，从而更加自然地进行模态融合，以及通过scaling友好的训练范式，解锁模型智能的新维度。本课题研究内容包括：

1）Pre-train：借助更好的tokenizer架构 / 数据表达 / loss设计，发挥原生多模态能够不依赖文本标注，直接学习无监督多模数据的优势，进一步提升模型能力。例如基于大规模的视频/语音数据自监督训练，对物理世界建模。

2）Post-train：通过SFT / RL等手段，借助多模token推理解锁模型新的智能维度，提升模型解决Robot/Gaming等物理世界问题的能力。

任职要求

1）熟悉NLP、LLM、MLLM、RL等相关领域，对其中一个或多个方向有深入的研究经历，且有相关实际项目经验。

2）熟悉Python、C++等至少一门编程语言，熟悉LINUX环境。

3）熟悉 Megatron、DeepSpeed 等开源训练框架。

加分项：

1）有影响力的开源项目中做出过核心贡献。

2）发表过高水平论文优先（如NeurIPS,ICLR,ICML,ACL,EMNLP等）。