数据开发工程师

职位描述

工作职责:

1.面向的预训练与后训练数据管线，参与设计和实现高性能、可扩展的分布式大数据处理平台，支撑海量数据的清洗、标注、归一化等预处理操作，确保数据质量与处理效率;

2.基于Kubernetes(K8S)体系构建并优化大规模任务处理系统，负责GPU、CPU等异构资源的编排与调度，通过资源配额、负载均衡、节点亲和性等策略提升资源利用率和系统稳定性;

3.与算法工程师紧密协作，深入理解模型研发流程(包括数据收集、模型训练、评估调优等)，参与数据解决方案的设计、开发与维护，持续提升平台的数据生产效率、易用性及系统健壮性;

任职要求

任职要求:

1.硕士及以上学历，计算机，大数据，统计学等或相关专业背景优先;

2. 精通至少一种编程语言(Python / C++ / Scala等)，具备优秀的编程和工程实现能力;

3.熟悉主流数据处理框架(如Spark/Ray/KubeRay等)，了解数据分片、任务调度、容错机制等核心原理;

4. 对自然语言处理、机器学习基础知识有良好理解;

5．良好的问题分析能力与沟通协作能力，热爱技术与开源文化，富有责任心

加分项:

1.熟悉K8s生态工具(如Kubeflow、Airflow、MLOps平台)，有相关研发或应用经验;

2、有预训练数据管线建设经验，或参与过大模型数据构建项目;

3、熟悉数据质量评估、去重、去噪、采样、压缩等技术;

4、有使用LLM(如GPT、Claude、Gemini)辅助构建训练数据的经验;