AI推理引擎开发工程师 - 自动驾驶

职位描述

1. 主导端侧AI推理引擎的架构设计与开发，支撑深度学习模型（含大模型）在嵌入式平台的高效部署。

2. 负责大模型（如Qwen、DeepSeek、Llama等）在端侧的全链路推理加速，包括量化、算子加速、投机采样、动态批处理及运行时调度。

3. 深入了解主流AI框架与推理引擎（如TensorRT、vLLM、llama.cpp、SGLang）底层机制，进行二次开发与定制优化。

4. 结合CUDA、HVX等硬件加速能力，实现异构计算资源的统一调度与性能极限压榨。

5. 输出推理引擎架构文档、性能分析报告及部署方案。

任职要求

1. 计算机、电子工程、通信工程等相关专业，3年以上高性能计算或AI工程化经验。

2. 精通C/C++与Python，深入理解计算机体系结构，熟悉CPU/GPU/NPU等硬件特性，能够在不同平台上实现高效的推理调度与计算加速。

3. 熟悉TensorRT/vLLM/llama.cpp/SGLang等底层机制，具备推理引擎开发经验。

4. 熟悉大模型推理加速技术，如量化（INT4/INT8）、KV Cache、动态批处理、投机采样等。

5. 具备CUDA编程与优化能力，了解DSP（HVX）或NPU开发者优先。