多模态大模型推理算子优化工程师-Data AML(北京/上海/杭州/深圳)
岗位信息
| 招聘单位 | 字节跳动 |
|---|---|
| 工作地点 | 北京 |
| 官方更新时间 | 2024-03-18 11:11:57 |
职位描述
1、负责Seedance/Seedream基础模型及衍生模型异构卡推理加速工作;
2、负责视频/图像生成/多模态等方向模型的异构卡适配。
任职要求
1、有AI工程系统优化经验,深入理解计算机体系结构、熟悉CUDA/AscendC/BangC/HIP中的一种或者多种算子,熟悉计算密集型算子如FlashAttention、Conv2d、Matmul、GroupedMatmul、MOE实现和加速;
2、具备低比特量化、稀疏等优化技术经验者优先;
3、熟悉Triton、TileLang、Cute DSL等语言并具备相关技术优化经验优先;
4、了解主流AIGC、多模态算法模型原理,有AIGC模型训练适配&加速、通算融合/掩盖经验优先;
5、熟悉TensorRT-LLM、SGLang、vLLM引擎,或熟悉ZeRO、TP、SP等并行技术原理优先;
6、具备良好的沟通能力和团队合作精神。
提示:投递请认准招聘单位官方招聘官网,谨防中介收费。