大模型流量调度工程师

职位描述

1. 负责大规模的的流量调度框架设计与开发。

2. 负责提升流量分发系统的效率，在稳定性，吞吐，延迟等多维指标中构建优化目标进行合理取舍。

3. 负责负载均衡算法的研发与迭代，能够根据多种类型的流量负载Pattern进行合理选型以及调优。

4. 负责针对LLM训推服务的需求迭代流量承载模型，包括但不限于同步，异步，流式，批式等。

任职要求

1. 计算机及相关专业，本科及以上学历；

2. 有跨集群 & 集群内流量调度，流量代理，负载均衡，大规模分布式系统等相关经验。

3. 熟悉LLM生态，对MOE，PD分离，EP并行等LLM架构有经验者优先。

4. 有扎实的编程能力和代码品位，良好的数据结构和算法基础，有acm/icpc，oi等竞赛获奖经历者优先；

5. 能熟练使用一种编程语言，包括不限于Golang/Python/C++/C；

6. 理解常规的架构设计思想，包括不限于服务化、异步、高可用、可扩展等；

7. 有良好的团队沟通和协作能力，有良好的责任心；

8. 对常用的云原生中间件有深入了解，如ServiceMesh，Redis，MQ等。

9. 有可观测意识，熟悉常用的可观测组件。

10. 有良好的自驱力和学习能力；