端侧大模型推理与量化资深工程师

职位描述

1、负责大模型与语音算法的量化、剪枝、蒸馏等模型精简与加速技术，完成在高通等移动端的转换、部署，保障端侧低延迟与高精度；

2、设计并实现端侧推理引擎，负责关键推理优化策略（如 Prompt Cache、投机解码、Flash Attention 等）的工程落地，结合图优化与算子适配，最大化 NPU/CPU/DSP硬件利用率；

3、负责跨平台推理 SDK 的架构设计、封装与迭代，提供稳定、高效的端侧推理接口；

4、负责推理链路延迟、精度与功耗问题的定位，并给出优化方案，推动端侧推理性能指标达成；

5、开发并迭代模型转换、精度与性能自动化测试工具链，提升算法到端侧的交付效率。

任职要求

1、硕士及以上学历，人工智能、计算机、电子、数学等相关专业；

2、熟练掌握深度学习与大模型压缩和加速技术，包括量化、剪枝、蒸馏等，有端侧部署与精度调优实践经验；

3、熟练掌握大模型推理优化策略（如 Prompt Cache、投机解码、Flash Attention 等），熟悉 SNPE/QNN 或者MTK 等主流平台推理框架；

4、熟悉移动端与 Native 开发，熟练使用现代 C++，熟悉 Android Native / HAL 层开发调试与系统级性能分析；

5、具备良好的跨团队协作与推动能力，能够与算法团队、芯片供应方紧密沟通，推动模型部署的端到端性能和效果优化；

6、熟悉 ARM NEON / DSP intrinsic 等端侧底层加速技术者优先；

7、熟悉 ONNX模型，熟悉 MNN/NCNN 等通用推理框架及其原理者优先；

8、熟悉 VAD、唤醒、ASR 等语音前端算法逻辑者优先。