大模型端侧推理优化工程师

职位描述

1. 负责端侧推理框架和推理产品的研发，支持LLM、SD等模型在端侧的部署应用。

2. 负责推理前沿优化技术在自研产品的落地，跟进学术与社区最新进展。

3. 负责标杆模型在端侧异构系统上的高效适配和硬件推理加速优化的研发。

4. 参与端侧大模型项目的研发规划，协同配合项目落地。

任职要求

1. 本科及以上学历，计算机相关专业，具有扎实的计算体系结构的基础。

2. 熟悉C++/python/java，有较强的工程编程能力。

3. 熟悉使用1种或者多种业界常用大模型推理框架的设计和实现，如TVM，Llama.cpp.

4. 熟悉CPU、GPU、NPU等计算后端的算子开发和优化技巧，如：CUDA、Opencl、Vulkan或主流Npu.

5. 具有1年及以上大模型部署推理相关工作经验，或者端侧AI模型落地经验。

6. 具有大模型核心算子的优化加速经验者更佳。