大模型数据研发工程师

职位描述

1、设计和开发大规模预训练数据处理链路，为基座模型预训练提供稳定、可靠的高质量数据处理能力，包括数据寻源、数据采集、数据解析处理等工作内容；

2、设计和开发服务大模型预训练的数据平台，管理海量文本和多模态数据的元信息、血缘、存储治理等全生命周期要素；提供预训练数据的可视化、可观测能力；探索数据实验、数据发版的工程上限；

3、根据大模型训练数据特点，抽象并开发高效、可靠的数据加工框架，提升所有大模型算法工程师处理数据的工程效率；支持千亿网页数据能力的大规模处理。

4、与团队成员共同攻克技术难题，持续迭代项目能力输出，提高服务质量。

任职要求

1、熟练掌握Java, Python 等主流编程语言，具备核心业务系统、大规模在线系统及数据处理系统架构设计与开发经验。

2、具备优秀的编码能力、架构设计能力和分析解决问题能力，能够发现业务痛点，并通过架构改进解决问题。

3、有面对技术挑战的热情，能独立思考，具有好奇心和快速学习能力。对业务、产品和技术都有浓厚的兴趣，对技术驱动业务有强烈的激情，持续学习成长，勤于思考总结，结果导向。

4、责任心强，积极主动，有良好的沟通能力和团队合作能力。