腾讯云 EdgeOne-推理平台高级工程师

职位描述

1.负责大模型推理服务的调度与性能优化，提升首 Token 延迟、Decode 延迟、吞吐、显存利用率和 GPU 利用率；

2.负责推理请求调度、动态 Batching、KV Cache 管理与调度、显存管理等等推理性能与效率的核心能力建设；

3.负责分布式推理优化，结合模型结构、硬件资源和业务流量特点，优化 TP/PP/EP 等推理策略；

4.负责推理引擎优化，围绕模型加载、算子执行、CUDA/GPU 性能、并发执行等方向持续提升推理性能和稳定性；

5.跟进并引入 LLM Serving、推理引擎、分布式推理、GPU 性能优化等前沿技术，推动推理平台持续演进。