【大模型北斗实习】大语言模型预训练结构和策略

职位描述

探索下一代大模型预训练范式，从模型结构、训练策略、数据策略、算力利用率等角度切入，打造具有更强能力和更高潜力的基座模型。

1）设计更高效的模型结构，提高给定数据量、计算量、硬件型号、输出序列长度等约束下的模型能力，如长序列能力、记忆能力等。

2）探索更科学的训练策略，对影响training dynamic的关键变量（如学习率、batchsize、初始化等）形成更科学的认知，探索更适合大模型的optimizer等。

3）研究模型结构和数据的耦合关系，优化分阶段训练范式。

4）结合MLsys解决大规模训练中遇到的卡点问题，实现算法和工程联合设计。

任职要求

1）熟悉NLP、LLM、MLsys、Optimization、OR、Control、RL等相关领域，对其中一个或多个方向有深入的研究经历，且有相关实际项目经验。

2）熟悉Python、C++等至少一门编程语言，熟悉LINUX环境。

3）熟悉Pytorch、 Megatron、DeepSpeed 等开源训练框架。

加分项：

1）有影响力的开源项目中做出过核心贡献。

2）发表过高水平论文优先（如NeurIPS,ICLR,ICML,ACL,EMNLP等）。