大模型推理部署工程师

职位描述

1. 根据业务需要，评估推理引擎的选型及候选部署参数。

2. 前往业务现场配置推理引擎部署环境，并部署、调优、测试推理引擎（能够接受频繁出差）。

3. 协助自研推理引擎开发团队对比评估推理引擎功能、性能。

任职要求

1. 有相关从业经验。

2. 具有良好的学习能力和团队合作精神。

3. 熟悉 vLLM、SGLang 等常用推理引擎的运行、调优方式。

4. 熟悉 GPU 服务器中与推理性能相关的系统配置。

5. 熟悉推理引擎中不同策略的优劣、适应场景。

6. 熟悉推理引擎的测试方法。

7. 具有国产/进口的多种型号 GPU 上的部署经验者优先。

8. 具有大规模集群部署经验者优先。