微信-WeLM 大模型预训练框架研发工程师（深圳、上海）

职位描述

1.负责构建和优化大规模预训练框架，支持文本、语音、图像等多模态数据的联合学习与高效训练；

2.深入优化长序列场景下的分布式训练与显存利用（如context parallel、2D/环形 Attention、混合并行、激活重计算等），在百万级 token 训练中提升吞吐与性价比；

3.负责后训练（Post-training）阶段框架建设，包括强化学习（RL/RLHF）、偏好建模（Reward Model）及人类反馈优化（Alignment）等流程；

4.深入优化分布式训练框架与推理效率，提升算力利用率与模型吞吐性能；

5.跟踪前沿研究趋势，探索高效预训练策略（如Mixture of Experts、Continual Pretraining等）；

6.与算法、数据、平台团队协作，形成从数据处理到训练部署的全流程自动化解决方案。