联通云推理引擎专家（研发方向）(J13253)

职位描述

1、负责联通云推理引擎核心模块（推理网关、推理调度器、推理框架、异构算力抽象、弹性扩缩容）的架构设计、编码实现与性能调优。

2、主导 GPU/ASIC（NVIDIA、昇腾、寒武纪、昆仑芯 等）推理加速方案落地，完成Token级调度、算子级优化、前缀解码、量化、投机解码、并行推理等关键算法开发；

3、构建基于 K8s 的异构资源调度系统，支持 NUMA/拓扑感知、GPU Direct RDMA网络、共享显存、MIG切分、时空复用，实现日均 10 万卡弹性并发推理任务稳定运行；

4、设计并实现推理服务可观测体系（指标、日志、追踪），通过类似eBPF + Prometheus + Grafana + Jaeger的架构（不限于）完成秒级故障定位与自愈，保障线上 99.95% SLA；

5、负责推理引擎安全沙箱、模型加密、内存隔离、漏洞扫描、国密算法适配，满足电信级与政务云等保三级/密评要求；

6、持续优化推理成本，完成 Spot 抢占、混合部署、潮汐调度、模型冷热分层，实现同等性能下综合成本降低 ≥ 30%；

7、建设自动化性能 Benchmark 平台，覆盖 LLM、多模态、CV、NLP、Speech 等 50+ 主流模型，输出性能基线、回归测试与硬件选型报告；

8、牵头重大客户现场保障，完成超大规模推理集群（≥1 万卡）压测、调优、故障应急，建设可复用性能调优知识库；

9、负责推理引擎相关专利、软著、标准（ITU/CCSA等）申报；

10、指导开发、测试、SRE 工程师，搭建代码评审、CI/CD、性能调优、故障演练体系。

任职要求

1、本科及以上学历，计算机、电子工程、人工智能、通信等相关专业，8 年以上云计算/AI平台研发经验，其中 3 年以上推理加速技术带头人经历；

2、精通 C++/Go/Python，熟悉 CUDA/OpenCL/ACL，具备算子级开发与汇编优化能力；

3、深度掌握 GPU/ASIC 硬件架构（SM、Tensor Core、NPU Core、内存层次、互联拓扑），熟悉 NCCL、NVLink、RDMA、GPUDirect；

4、熟悉云原生技术栈（K8s、Operator、Device Plugin、Scheduler Framework、Service Mesh），有二次开发及性能调优经验；

5、熟悉主流推理框架与加速库（TensorRT、vLLM、SGLang、TGI、ONNX-Runtime、MindIE），掌握连续批处理、前缀解码、投机解码、并行推理等优化手段；

6、具备高并发分布式系统设计与调优能力，熟悉 Zero-Copy、AIO、epoll、DPDK、SPDK、共享内存、无锁队列；

7、熟练使用 nsight、perf、bpf、gdb、valgrind 等性能/调试工具，具备线上故障快速定位与热修复能力；

8、具备优秀的算法与数据结构基础，能针对 LLM 推理场景设计新的调度/缓存/压缩算法；

9、具备较强的学习能力、责任心和抗压能力，具备良好的英语读写与沟通能力。

优先条件

1、有成功主导中大规模推理集群架构与上线经验，稳定运行 1 年以上；

2、作为第一作者在 CCF B 类以上会议/期刊发表论文；

3、熟悉国产 AI 芯片（昇腾、寒武纪、昆仑芯等）及其软件栈，并有大规模商用实践；

4、有电信级高可用生产实践经验 。