大模型推理框架工程师

职位描述

1. 建设分布式训练推理系统，包括模型并行、长上下文、MoE、低精度训推等。

2. 搭建和优化 RL 训练系统，自研RL训练框架，包括异步 RL、Agentic RL、OPD 等。

3. 设计和开发大规模推理服务的 KV Cache 磁盘缓存、负载均衡、PD分离等策略，提升单GPU卡的推理效率。

4. 与算法团队协作，支持新模型、新算法、新Agent框架的快速落地。

5. 关注前沿大模型推理技术的预研与引入，不断探索行业新趋势，为公司技术战略提供支持。

任职要求

1. 有扎实的工程算法基础，精通数据结构和常用算法，熟练掌握各种编译、调试、性能分析工具。

2. 精通 Python 及 C++中至少一门语言，代码能力强，代码品味好，擅长与 Code Agent 合作。

3. 对大模型训练、推理、RL、多模态系统优化有强烈兴趣。

4. 学习能力强，愿意深入复杂系统和底层细节，能够平衡业务开发的灵活性与底层架构的稳定性，对新技术有热情。