大模型数据工程师

职位描述

1.参与并负责数据平台的后端研发，包括海量数据获取、存储、清洗工作；

2.参与设计并实现高稳定性和高性能的分布式数据处理系统；

3.对现有系统方案能够持续改进和优化，不断提升系统稳定性和性能，推进技术在业务落地；

4.调研搜集高质量数据，支持基础数据集迭代更新

任职要求

1.本科及以上学历，2年以上相关工作经验；

2.熟悉 Python/Go 至少一门后端语言，并对语言特性有一定理解；

3.熟悉后端常用技术，包括不限于：数据库、消息队列、分布式存储、异步任务队列等；

4.对视频编解码有一定了解，熟悉 FFmpeg 等开源工具者优先；

5.熟悉数据处理相关的开源工具（如 Ray、Hadoop 等），有大数据处理经验者优先；

6.了解云原生技术栈（K8S、Docker、微服务等），有云平台相关经验者优先；

7.具有良好的业务理解和抽象设计能力，善于沟通，有责任心、务实，能很好的与他人合作；

8.有较强的学习能力，能够持续关注和学习业界最新技术

加分项：千万以上量级数据爬取处理经验，全栈开发能力

【核心关键词：大模型训练数据处理，非结构化数据（图片，视频）】