训推平台研发工程师-瀚海平台

职位描述

职位描述:

负责公司AI训练与推理平台的架构设计、性能优化及功能迭代。熟悉常用训练和推理框架，构建高效、灵活的模型平台，支持多场景下的大模型参数高效微调、推理、评测。

主要职责:

• 构建训推一体化平台，与算法及应用团队紧密协作，支撑算法及应用团队的训练推理评测需求

• 开发模型服务化引擎，支持动态推理加速（如vLLM）和推理服务化

• 参与需求分析、系统设计和技术评审，确保项目按时交付

• 编写高质量的代码，并进行单元测试和集成测试

• 跟踪最新的AI技术和行业趋势，持续提升技术能力

任职要求

任职要求:

• 计算机科学、软件工程相关专业本科及以上学历

• 3年及以上开发经验，熟练掌握Python、Go、Java等编程语言中的一种或多种，熟悉设计模式。

• 熟悉大模型推理评测框架以及推理加速技术，如PyTorch、vLLM、opencompass等，了解其内部原理和优化机制，有实际开发优化与使用经验者优先

• 具备微服务架构经验，熟悉容器化技术和编排工具

• 参与过大型系统架构设计，熟悉微服务、RESTful API设计，了解分布式系统容错与性能优化方法

• 有高性能计算、并行计算、GPU优化等相关经验者优先，熟悉CUDA并行计算框架者更佳

• 对大模型Infra技术有浓厚的兴趣和热情，愿意在该领域不断探索和创新

加分项:

• 熟悉云原生技术栈（Kubernetes、Service Mesh），有混合云部署AI平台经验

• 熟悉LLaMA Factory/vLLM/Kserve等框架

• 精通Python语言的优先

• 参与过开源项目或在知名技术社区有活跃贡献