27届校招-集群推理系统应用工程师（部署工程方向）(J10887)

职位描述

1.负责LLM、多模态、视觉模型在GPU/NPU算力集群的分布式推理部署、服务封装、功能验证与业务上线；

2.基于Triton、vLLM、TensorRT-LLM及自研推理服务框架，搭建标准化推理服务集群，实现多机多卡张量并行、流水线并行、分布式KV Cache推理方案落地；

3.开展集群推理全链路性能调优，优化推理时延、吞吐、显存占用、集群资源利用率，定位集群通信、调度、IO、并发瓶颈；

4.搭建推理服务Benchmark与压测体系，完成极限并发、稳定性、时延测试，输出集群优化与扩容方案；

5.基于Docker、K8s完成推理服务容器化打包、集群编排、负载均衡、自动扩缩容、故障自愈搭建；

6.负责线上推理服务运维、故障排查、性能迭代，保障业务7*24h稳定运行，沉淀集群运维与调优文档。

任职要求

•本科及以上学历，计算机、软件工程、网络工程、人工智能、电子信息等相关专业；

•熟练Linux环境开发与调试，掌握进程、内存、网络、日志排查方法；

•了解Docker容器化技术，熟悉K8s基础架构与集群调度原理；

•了解AI推理服务、分布式部署、并发调度基础原理。

加分项

•有AI集群部署、推理服务开发、云原生项目实习/项目经验；

•熟悉Triton、vLLM等主流推理服务框架，懂分布式推理优化；

•掌握K8s运维、微服务、负载均衡、资源调度相关技术；

•有算力平台、智算中心、AI Infra相关项目经验。