AI infra 实习生

职位描述

1、利用算子优化，显存/KV cache管理优化、分布式加速等技术开发和改进推理框架；

2、协作高并发场景下大模型推理的性能分析优化工作，定位系统瓶颈并提出改进方案；

3、与团队协作，推动优化技术在业务中的应用。

任职要求

1、计算机、人工智能或相关专业本科/硕士/博士在读

2、熟练掌握 Python 和 C++，具备扎实的计算机系统基础（操作系统、计算机网络、CUDA 编程基础）

3、理解以下至少一个方向，并有相关代码经验或研究积累：

（1）投机解码 ：熟悉 Draft-Target 模型协作机制

（2）显存池优化 ：熟悉 PagedAttention 原理，了解 Unified Memory等

（3）异构系统调度：了解如何在不同算力/显存的 GPU 之间进行负载均衡和流水线调度

（4）稀疏传输与压缩 ：熟悉 KV Cache 的稀疏性特征（如 H2O, StreamingLLM），了解量化传输策略

（5）序列预测：了解基于预测的预加载或预计算策略

加分项 ：

源码阅读经验：深入阅读过 SGLang, vLLM,源码，并提交过 PR 者优先

高性能网络经验：熟悉 RDMA (InfiniBand/RoCE)、NCCL 通信库或 Mooncake 传输层优化

学术成果：在系统或 AI 顶会（OSDI, ATC, SC, ICML, NeurIPS 等）有论文发表经历

你将获得：

充足的算力支持：直接操作 H200/H100/A800/4090 等硬件集群

有竞争力的实习薪资

论文一作或者共一机会