AI异构硬件推理优化专家 - Seed Model

职位描述

团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，为科技和社会发展作出贡献。

Seed 团队在 AI 领域拥有长期愿景与决心，团队研究方向涵盖 MLLM、GenMedia、AI for Science、机器人等，在中国、新加坡、美国等地设有实验室和岗位。目前，团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、即梦、TRAE 等超过 50 个应用场景，并通过火山引擎开放给企业客户。第三方数据显示，豆包 App 用户量在中国市场排名第一，豆包大模型日均 Token 调用量行业领先。

1、该岗位面向超大规模AI加速卡集群，负责豆包Seed自研LLM模型的推理业务落地，深度参与分布式推理框架优化、高性能算子开发与在线稳定性建设，支撑豆包和火山引擎的大规模在线业务流量；

2、业务Serving上线：参与豆包Seed自研LLM模型在超大规模AI加速卡集群上的部署、适配、性能调优和稳定性建设；

3、推理框架优化：优化调度、Batching、KV Cache、显存管理、分布式并行、负载均衡、投机推理、稀疏计算和量化等核心链路；

4、高性能算子与通信优化：面向不同异构硬件ISA开发和优化Attention、GEMM、量化、通算融合等关键LLM算子。

任职要求

1、计算机、软件工程、人工智能、电子信息、微电子等相关专业优先；

2、熟悉Linux环境下的C/C++或Python，具备扎实的编程能力和工程习惯；

3、熟悉计算机体系结构、芯片微架构、高性能计算、分布式系统、并行计算中的至少一个方向；

4、了解大模型推理基本流程，对Serving、调度、并发、显存管理、KV Cache或分布式推理有兴趣；

5、关注延迟、吞吐、带宽、算力利用率、显存占用、网络通信和在线稳定性等性能问题。

加分项：

1、有AI芯片性能优化经验，热衷于探索不同芯片或集群的性能边界；

2、熟悉常见的推理Serving技术栈，包括vLLM、SGLang、PagedAttention、投机推理等；

3、有CUDA、AscendC、TileLang、Triton、CUTLASS、TVM、MLIR、TorchInductor等相关经验；

4、具备以下经验：高性能算子开发、网络通信优化、推理引擎优化、在线服务性能优化或硬件适配；

5、有OI/ACM、HPC竞赛、系统竞赛、科研项目或开源项目经历。