AI大模型推理工程师(J10964)

职位描述

1. 参与大语言模型、多模态模型等 AI 模型的推理部署、性能优化和服务化建设。

2. 协助搭建高性能、低延迟的大模型推理服务，支持模型在实际业务场景中的应用。

3. 参与 Transformer、Attention、KV Cache、Batching、量化等推理相关技术的学习、调研与实现。

4. 参与 vLLM、TensorRT-LLM、Triton、ONNX Runtime、SGLang 等推理框架的接入、测试与优化。

5. 协助进行模型推理性能压测、瓶颈分析和资源利用率优化。

任职要求

1. 计算机、人工智能、软件工程、电子信息、自动化、数学等相关专业优先。

2. 具备扎实的计算机基础，熟悉数据结构、操作系统、计算机网络、并行计算等基础知识。

3. 熟悉 Python，了解 C++，具备良好的编码能力和工程实践习惯。

4. 了解深度学习基础，熟悉 PyTorch、TensorFlow、ONNX 等至少一种深度学习框架或模型格式。

5. 了解 Transformer、Attention、LLM 推理流程等相关知识。

6. 对大模型推理优化、AI Infra、GPU 计算、模型服务化方向有浓厚兴趣。

7. 具备良好的学习能力、问题分析能力和沟通协作能力。