数据工程专家(J20002)

职位描述

1.负责多模态数据平台建设,覆盖文本、音频、图像、视频、日志等数据的接入、清洗、脱敏、标注、质检、存储、评测和训练数据构建。

2.设计高可靠数据管道和数据资产体系,建设数据质量、元数据、血缘追踪、权限控制、生命周期管理、审计和回溯能力。

3.打通AI数据闭环,支撑数据回流、样本管理、数据集版本化、badcase分析、离线评测和模型迭代。

4.深度使用LLM、多模态模型和Agent,提升数据清洗、分类、标注、质检、异常检测和平台自动化效率。

5.推动数据平台工程标准化、自动化和产品化,提升大规模莫数据处理的稳定性、成本效率和可观测性。

任职要求

1.具备5年以上数据工程、数据平台或AI数据基础设施经验我,有复杂数据平台从0到1或规模化建设经验。

2.精通至少一种大数据或数据平台技术体系,如Spark、Flink、Ray/、Kafka、Airflow、Iceberg、ClickHouse、湖仓、对象存储等。

3.熟悉多模态数据处理、AI训练数据构建、标注质检、评测数据管理或MLOps流程

4.对数据质量、数据治理、隐私合规、可追溯性和平台稳定性生有深刻理解。

5.能熟练使用AI工具提升工程研发和数据处理效率,具备将AI能力产品化、平台化的经验优先。