token服务工程师

职位描述

· 负责token服务平台架构设计与核心功能开发，包括模型托管、API网关、推理调度等

· 设计并实现大模型推理服务的弹性调度与多租户隔离机制

· 构建模型版本管理与灰度发布体系，支撑模型的快速迭代上线

· 开发推理服务的监控、计费与配额管理系统

· 与推理框架团队协同，将底层推理能力高效封装为标准化API服务

任职要求

· 本科及以上学历，计算机、信息、电子等相关专业，1年以上相关经验

· 精通Go或Python，具备扎实的后端工程能力与分布式系统开发经验

· 熟悉微服务架构与API网关设计，了解gRPC/REST等通信协议

· 熟悉Kubernetes及容器化部署，具备云原生应用开发能力

加分项（非必需）

· 有大模型推理服务化（vLLM/TGI/Triton Inference Server等）落地经验

· 熟悉GPU资源调度与弹性伸缩方案（Volcano/Kueue等）

· 有高并发、低延迟API服务设计与性能调优实战经验

· 熟悉Serverless或事件驱动架构，有相关平台开发经验

· 了解模型量化、蒸馏等优化手段，能从平台视角整合推理优化能力