Data infra平台开发工程师

职位描述

1、负责公司数据平台的全栈开发，涵盖数据湖仓体系构建、数据预处理管线、数据集管理与版本控制等核心模块；

2、开发数据湖仓架构，整合多源异构数据，实现数据的高效存储、查询与生命周期管理；

3、构建大规模训练数据集的生产管线，包括数据清洗、格式转换、数据增强、采样策略及自动化标注流程；

4、设计并实现高性能的数据加载与预处理能力，优化数据IO瓶颈，支撑大规模分布式训练的高效数据供给；

5、负责数据集版本管理与可追溯性建设，建立数据血缘关系，确保训练数据的可复现性；

6、参与数据管线的自动化与编排能力建设，推动数据从原始采集到模型训练的自动化流转；

7、与算法、Infra团队紧密协作，理解模型对数据的需求与格式要求，持续优化数据平台的易用性与效率。

任职要求

1、本科及以上学历，计算机、软件工程、数据科学等相关专业；

2、3年以上数据平台或大数据开发经验，有AI训练数据平台建设经验者优先；

3、精通至少一种后端开发语言（Go/Python/Java），具备扎实的工程化能力；

4、熟悉数据湖仓相关技术及大数据处理引擎，有实际项目经验；

5、熟悉分布式存储及对象存储，了解高效数据访问模式与缓存策略；

6、了解常见数据格式，有数据格式转换与优化经验者优先；

7、具备良好的系统设计能力与问题解决能力，有大规模数据处理与性能优化经验者优先；

8、自驱力强，结果导向，能适应快节奏的研发环境。