基座大模型算法专家

职位描述

1. 基座大模型预训练，包括但不限于不同规模、不同结构的语言模型和多模态模型的数据准备和优化、模型预训练、训练加速与框架优化等；

2. 大模型对齐技术（SFT、RLHF等）链路整体优化，包括数据探索与增强、对齐流程探索、奖励模型优化、强化学习策略迭代等，持续提升对齐效果；

3. 大模型训练和推理优化，包括但不限于高效训练技术和框架设计与实现、模型小型化技术（稀疏化、压缩、剪枝、蒸馏等）探索与落地、高效推理技术实现等；

4. 大模型相关技术前沿探索，包括但不限于Scaling Law、模型架构探索（MoE、MAMBA等）、训练范式探索、长序列技术探索、高效训推框架探索等；

5. 支撑内部应用需求，对接搜索、推荐、广告等实际业务场景，实现大模型应用落地。

任职要求

1. 对大模型开发流程有深入认知，熟悉预训练、指令微调、RLHF等流程与框架，具备模型预训练、对齐、训练和推理加速、模型小型化和部署等方面的经验；

2. 熟悉Transformer等模型架构，对GPT系列、LLAMA系列和MoE等模型架构有深入理解并拥有大规模训练经验；

3. 具备扎实的算法和数学理论基础及良好的编程基础，熟悉自然语言处理、生成式AI和机器学习等技术，熟悉Python、Java等至少一种编程语言，熟悉PyTorch、Tensorflow等深度学习框架，对技术开发及应用有热情；

4. 目标感强，善于分析和发现问题，拆解简化，有想法并乐于挑战自我，能够从日常工作中发现新的空间；

5. 条理性强且有推动力，能够梳理繁杂的工作并建立有效机制，推动上下游配合完成目标。