大模型算法高级工程师-推理框架

职位描述

1. 基于llama.cpp等开源框架进行源码级二次开发，构建自研推理引擎，完成与DNPU Runtime的工程化深度集成（进程内嵌入、内存共享、调度同步等）。

2. 设计并实现多卡/多节点分布式推理方案，包括模型切分部署、多实例数据并行调度、请求级负载均衡及KV Cache跨节点管理。

3. 负责模型量化算法研究，自研高精度量化方案（PTQ策略改进、混合精度量化、通道级量化等），完成safetensor到量化ONNX的导出流程，建立精度评测体系。

4. 跟踪业界SOTA推理优化技术（投机采样、PagedAttention、Chunked Prefill、FlashAttention、动态批处理等），编写技术调研报告与原型验证代码。

5. 跟踪LLM/VLM/VLA等前沿模型结构演进，分析新算子需求并协同异构计算团队完成后端落地。

6. 搭建端到端推理性能基准测试体系，监控时延、吞吐、内存等关键指标，驱动方案持续优化。

任职要求

1. 本科及以上学历，硕士/博士优先；计算机、软件工程、人工智能、自动化、电子信息等相关专业优先；

2. 3年以上工作经验，精通C/C++与Python，具备大规模软件工程架构与开发能力。

3. 对llama.cpp等主流推理框架有源码级深度理解（模型加载、内存管理、计算调度），有实际二次开发经验。

4. 有将外部Runtime/SDK以进程内嵌入等方式集成到自研框架的工程实战经验。

5. 熟悉Transformer/LLaMA等模型的算子构成和计算流程。

6. 对模型量化技术（PTQ/QAT）有深入研究，有自研或深度定制量化方案的实际项目经验。

7. 理解PagedAttention、FlashAttention、投机采样等业界主流推理优化技术原理。

8. 熟悉分布式推理基本范式（数据并行、模型并行、流水线并行），有多卡/多节点部署经验。

9. 了解NCCL、MPI等分布式通信框架的基本原理和使用方式。

10. 有定期研读前沿论文和开源项目的习惯，良好的沟通与文档能力，能与算法、硬件团队高效协同。