大模型训练优化工程师 - Seed Model

职位描述

团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，为科技和社会发展作出贡献。

Seed 团队在 AI 领域拥有长期愿景与决心，团队研究方向涵盖 MLLM、GenMedia、AI for Science、机器人等，在中国、新加坡、美国等地设有实验室和岗位。目前，团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、即梦、TRAE 等超过 50 个应用场景，并通过火山引擎开放给企业客户。第三方数据显示，豆包 App 用户量在中国市场排名第一，豆包大模型日均 Token 调用量行业领先。

1、负责超大规模机器学习系统架构的设计开发，解决系统可扩展性、高可靠、可易用等关键技术；

2、负责机器学习系统前瞻技术的调研和落地，以前瞻视角实现业界最佳的超大规模训练方案；

3、与算法部门深度合作，进行算法与系统的联合优化，覆盖Pretrain、RL、新硬件适配等多个场景；

4、覆盖机器学习系统多个子方向领域的工作，包括分布式模型训练、高性能计算、数据管理、资源调度等。

任职要求

1、本科及以上学历，计算机、软件工程、人工智能等相关专业优先；

2、工程或机器学习算法有深厚的功底和经验；

3、历史上解决过难题，遇到难题时能静下心，没有畏难情绪，能查到底层，观察敏锐，逻辑清晰；

4、由衷热爱技术，有强烈的工作责任心，较好的学习能力、沟通能力和自驱力；

5、良好的沟通协作能力，能和团队一起探索新技术，推进技术进步。

加分项：

1、熟悉LLM、NLP、CV、语音相关的算法和技术，熟悉大模型训练、Diffusion、RL算法者优先；

2、有以下某一方向领域的经验：高性能计算/CUDA，torch.compile/Triton/TVM等编译技术，RDMA/通讯库，异构加速硬件体系，分布式系统和大数据架构，系统算法联合优化。