LLM算子开发工程师(J10694)

职位描述

负责LLM中定制化算子需求的性能评估和实现,完成端侧LLM推理部署

负责可编程AI加速单元底层算子库的设计、开发和优化,并在AI编译器及端侧适配接入

跟踪LLM领域新技术,根据算法发展趋势和硬件特性持续丰富算子库、提升算子性能

负责高性能算子的开发与优化,包括CPU、DSP、RVV等异构硬件牛,优化算子的性能,确保在不同硬件平台上的

高效计算,包括但不限于FP32、FP16、FP8、INT16、INT8、INIT4等数据类型

任职要求

基本要求

有常见LLM推理部署框架使用和开发经验,包括并不限于llama.cpp/TensorRT-LLM/VLLM/VTGI等

熟悉一种以上可编程AI加速单元的算子开发,包括并不限于DSP/PRVV/GPU/NPU等

具备良好的工程实现能力,熟悉Python与C/C++编程开发

了解AI编译原理、模型量化原理

主动学习、良好的沟通能力和团队合作精神

加分项

熟悉主流LLM算法模型原理,有LLM应用落地开发经验

有Cadence DSP或RISC-V向量指令集开发经验,了解相关硬件特性和指令

从事过AI软件相关开发,包括AI编译器、AI算子库、AI推理/训练框架开发等

熟悉编译原理,包括并不限于程序分析、编译后端优化技术等

熟悉计算机算法与设计模式,有过ACM或其他编程竞赛经历