训练高性能计算工程师 - Seed Model

职位描述

团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，为科技和社会发展作出贡献。

Seed 团队在 AI 领域拥有长期愿景与决心，团队研究方向涵盖 MLLM、GenMedia、AI for Science、机器人等，在中国、新加坡、美国等地设有实验室和岗位。目前，团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、即梦、TRAE 等超过 50 个应用场景，并通过火山引擎开放给企业客户。第三方数据显示，豆包 App 用户量在中国市场排名第一，豆包大模型日均 Token 调用量行业领先。

1、负责大规模训练系统中的关键高性能算子的设计与实现；

2、针对不同AI加速器的硬件架构，对训练算子性能做极致的性能优化；

3、针对大模型训练系统中不同分布式并行的特点，实现针对计算和通信的极致优化；

4、算法和工程的联合设计，追求系统性能和算法效果的最优平衡点。

任职要求

1、掌握C/C++，精通Python，熟练掌握PyTorch；

2、熟悉CUDA编程，熟悉NVIDIA或其他加速器硬件架构细节和优化点；

3、熟悉Triton/TVM/Torch.compile等编译工具；

4、熟悉Nccl或Nvshmem通信算子的底层实现，熟悉主流的RDMA/NVLINK的通信拓扑；

5、熟悉主流文本大模型/多模态大模型/Diffusion类模型架构以及训练方式。

加分项：

1、精通CUTLASS/Cute dsl开发；

2、对Flash Attention的实现有深入的理解和开发调优经验；

3、有Triton/Tilelang等编译框架底层优化经验；

4、有通信/计算Overlap算子的开发经验。