模型服务系统专家

职位描述

工作内容：

• 参与API Token模型服务的整体架构设计与核心开发工作，主导设计并研发大规模低延迟高吞吐分布式推理系统

• 负责解决大模型推理过程中的关键技术问题，包括负载均衡，流量调度，多机组网通信，系统高可用、KVCache管理等

• 负责模型服务的稳定性与性能优化，构建完善的可观测性系统，提升平台安全性与可靠性，推进资源调度系统的智能化升级

• 根据用户反馈快速定位并解决线上问题，深入分析业务需求，将高频使用场景沉淀为平台通用能力，持续提升平台的易用性与功能性

任职要求

岗位要求：

• 深入理解大规模AI/模型服务系统工程，熟悉从0到1构建API Token服务

• 了解常见大模型算法原理（Transformer，MoE，MLA，Diffusion 等）

• 熟悉主流开源框架SGLang/vLLM/TensorRT-LLM等 ，了解请求调度，KVCache存储，PD 分离等核心架构

• 拥有丰富的分布式系统开发经验，具备复杂系统的软件设计与调试能力

• 熟悉微服务架构，Kubernetes，容器技术，Prometheus 等相关技术栈

• 具备3年以上 Golang，Python或 C++ 中至少一门语言的开发经验

• 具备良好的学习能力和自我驱动力，持续关注云原生与人工智能领域的技术发展