LLM预训练算法工程师

职位描述

1. 参与大规模预训练语言模型的预训练，主要涉及Scaling Law构建、性能优化、硬件适配等工作;

2. 根据需求复现相关自然语言处理算法;

3. 参与前沿算法与应用的研究。

任职要求

1. 自然语言处理、机器学习及相关专业、3年以上相关工作经验；

2. 较强的算法开发能力，熟悉C++、python、shell、cuda等一种或多种编程语言；

3. 掌握传统NLP、深度学习NLP相关算法，并具有相关实战经验；

4. 熟练使用 Pytorch、Megatron 深度学习框架；

5. 对深度学习、Transformer、预训练有一定深度的理解和经验,能根据论文复现相关算法,有大规模预训练模型研发和训练经验者优先；

6. 高质量相关论文ACL，EMNLP，COLING，NAACL作者优先。