AI中间件开发专家工程师（Embedded方向）(J14612)

职位描述

岗位定位： 参与端侧模型推理中间件的研发，实现存储融合。实现端侧模型存储优化

岗位职责：

1. 负责AI模型在边缘设备上的推理优化（DRAM&NAND内存融合），挖掘推理期间内存占用与性能数据，突破现有边缘设备的内存瓶颈

2. 负责负责KV Cache分层存储模块的设计与开发,实现KV Cache在不同存储介质的动态流转

3. 负责边缘设备上的加速外设（GPU/NPU）进行推理加速，分析解决适配过程中的功能、性能与精度问题

任职要求

职位要求：

1. 计算机、电子工程、通信工程相关专业，7年以上且以C++为主要工作语言的经验，其中需要包含1年以上的推理引擎工程化经验

2. 熟练使用C++语言（必要条件），了解C++11以上特性，能够使用C++语言实现高性能计算

3. 在边缘设备上适配llama.cpp\mnn\mllm等现有的开源推理框架（了解其一即可），

4. 了解MOE模型训练与推理时token与专家分配关系

5. 深入理解计算机体系结构，了解DRAM/Cache/Disk-IO co-work机制 4、可以熟练在Linux上进行开发，了解Linux上各项机制（内存申请、任务调度、资源管理）

6. 熟悉手机平台NPU工作原理，和在不同推理框架下使用方式

加分项：

1. 能够熟练解析各模型权重信息，并了解这些权重在推理过程中的作用

2. 大模型推理期间KV-Cache、动态批处理、encode-decode相关知识

3. 输出推理引擎的架构文档、内存占用数据、性能分析报告等文档

4. 高性能计算经验

5. 有敏捷开发经验