大模型算法专家

职位描述

1. 从flops efficiency角度，对大模型预训练过程进行分析与探索，包括不限于对scaling law的研究，数据的认知实验，MoE等模型架构设计，以及其他工程与算法结合的ml sys相关优化等。

2. 负责原生多模态大模型的构建与预训练，包括各模态分词器设计，合成数据策略，以及跨模态融合训练策略等，提升原生多模态模型在视觉/语音的理解与生成任务上的能力。

3. 进行大模型reasoning能力的相关研究，研究pre-train / test-time compute对于模型推理能力的影响，借助SFT / DPO / self-play等手段，提高模型在代码数学等推理任务上的表现。

4. 通过post-training激发模型在各下游任务上的能力，从而构建具有通用问题解决能力的agent。

任职要求

1. 对大模型有技术热情，熟悉GPT/BERT/T5等模型的原理；

2. 熟悉Python，熟练使用TensorFlow/PyTorch/Megatron/Triton等深度学习训练或推理框架，熟悉java/C++中的一种。