大模型推理引擎研发工程师(J12932)

职位描述

1. 参与分离式架构推理引擎的研发工作，包括方案设计、编码、测试方案设计与执行、性能画像等；

2. 追踪前沿技术，并进行落地探索，包括但不限于友商方案比对、开源方案调研、阅读论文、性能数据分析等；

3. 进行显存相关的优化工作，比如KVCache压缩、卸载等。

任职要求

1. 本科及以上学历，3年及以上工作经验，计算机科学、人工智能、大数据等相关专业优先；

2. 具有人工智能、深度学习算法建模开发、模型训练推理经验优先录取；

3. 熟悉并行策略、通信优化、KVCache、任意一种加速器并能够进行性能Profiling、算子优化、算子融合等优先；

4. 熟悉开源推理引擎，比如vLLM、SGLang、TensorRT-LLM等、模型量化压缩技术优先；

5. 学习新知识能力强，独立发现解决问题能力强，具备较强的工程能力且有实际工程项目经验。