自主中心-研究岗/工程技术岗-大模型分布式训练优化(J10490)

职位描述

1.负责大规模机器学习模型的分布式训练优化，提升训练效率和模型性能；

2.设计和实现高效的分布式训练算法和策略，包括但不限于异步训练、同步训练等；

3.针对特定硬件和网络环境，优化模型训练过程中的数据传输和计算资源利用；

4.与数据科学家和算法工程师紧密合作，理解模型训练需求，提供定制化的优化方案。

5.分析训练过程中的性能瓶颈，提出解决方案并实施优化；

6.跟踪最新的分布式训练技术和研究成果，评估其在公司项目中的应用潜力。

任职要求

1.人工智能、电子信息、通信、计算机、自动控制、集成电路等专业硕士/博士/博后，博士/博后优先；

2.精通至少一种编程语言，如Python、C++、Java等，具有良好的编程习惯；

3.熟悉计算机体系结构以及并行计算基本技术，有 GPU 通用计算研发经验；

4.有Pytorch、TensorFlow或任意一种大模型训练、微调平台的研发，优化或者模型训练经验；

5.熟悉深度学习分布式训练和微调优化方案，了解以太网或者 infiniband 等高性能网络；

6.有实际的分布式训练系统开发和优化经验，熟悉分布式训练中的常见问题和解决方案。