【大模型北斗实习】大模型模型压缩技术探索

职位描述

本课题专注于大模型前沿压缩技术探索，通过压缩技术降低大模型的推理部署成本。课题研究内容包括但不限于:

1) 探索多种模态（文本、语音、视觉）的模型压缩技术，不限剪枝、蒸馏、稀疏、量化、低秩化。

2) 探索新轻量化结构，不限 MoE、Mamba、Sparse-Attention、MTP，实现训练和推理的协同优化。

3) 探索低精度量化算法，以及新型量化格式，不限预训练和后训练过程，实现大模型的极致压缩。

4) 高性能算子设计和开发，实现极致的压缩推理性能。

任职要求

1）熟悉常用的模型压缩技术：剪枝、量化、蒸馏、稀疏化。

2）熟悉 vLLM、SGLang 等开源推理框架。

3）熟悉 Megatron、DeepSpeed 等开源训练框架。

加分项：

1）有影响力的开源项目中做出过核心贡献。

2）发表过高水平论文优先（如ICLR,ICML,ACL,EMNLP等）。