腾讯云-MaaS平台近线/离线推理研发专家

职位描述

1.负责离线推理（Batch Inference）平台架构：任务调度、断点续跑、优先级队列、弹性伸缩；

2.负责推理吞吐与成本优化：PD分离架构、推理引擎（vLLM/SGLang/TensorRT-LLM 等）选型与调优、量化策略落地；

3.负责离线与在线推理的资源复用与错峰调度，持续提升整体GPU利用率；

4.建设离线推理的SLA体系与成本核算模型，支撑Token单价竞争力；

5.对接数据合成、模型评测、蒸馏等大规模离线Token消耗场景，形成业务闭环。