大模型推理优化工程师-抖音

职位描述

2、负责图像/视频/3D/多模态等方向AIGC大模型推理加速研究，包括模型蒸馏、模型量化、模型剪枝、异构卡适配、推理加速框架移植等；

3、负责大模型训练过程中的GPU资源管理、异构卡适配、提升GPU利用率等，以及业务落地过程中大模型的工程服务开发部署；

4、探索前沿推理加速技术，持续提升模型推理效率。

任职要求

1、本科学历及以上，人工智能、计算机视觉、计算机图形学、软件工程等相关专业，具有丰富推理优化实践经验者优先；

2、具有优秀的编程基础，熟练使用C++和Python编程语言以及PyTorch深度学习框架，熟悉GPU/NPU上的算子开发；

3、具有扎实的机器学习/深度学习基础，熟悉常见大模型架构和算子实现细节，特别是对Diffusion和LLM模型架构有深入理解；

4、熟悉大模型蒸馏、量化、剪枝等常用压缩技术，熟练使用常见推理加速工具，如TensorRT、vLLM等；

5、具有优秀的分析和解决问题的能力，对解决具有挑战性的问题充满激情，具备良好的沟通和团队合作能力。