大模型 Infra 工程师

职位描述

职位描述

1、负责大规模分布式训练，端、云推理系统的研发和优化，支持千卡级别的大规模模型训练和高性能推理；

2、高性能算子研发，逼近硬件理论上限

3、设计和实现高效的模型量化、蒸馏、稀疏等压缩方法

4、跟踪最新的模型训练和推理技术发展，并将其应用于实际生产环境。

任职要求

1、懂算法也懂系统，是高性能计算方向某方面的专家。

2、具备CUDA编程和底层算子优化的经验，熟悉主流的高性能实现，对编译器有深入的了解，有编译器研发经验，如MLIR, tilelang, tvm, triton，cutile等。

3、具备训练推理的经验，对分布式的计算，通信，存储等有非常深入的理解。

4、具备模型压缩算法相关经验

5、有系统顶会论文(OSDI/ISCA/ASPLOS/SC等)者优先考虑；

6、有知名开源项目的commiter/contributor经历者优先。