大数据开发工程师

职位描述

1、负责结构化与多模态数据（图片、音频、视频等）的采集、处理与存储。

2、建设与维护数据处理流程（ETL/ELT），确保数据稳定、可靠、及时。

3、设计结构化与非结构化数据集，支持产品、分析与模型训练/评估需求。

4、使用云存储和大数据技术（S3/OSS、Flink/Spark/Hive 等）构建数据底座。

5、实施基础数据质量校验，保障关键数据链路正确运行。

任职要求

1、本科及以上学历，计算机/软件工程/数据工程等相关专业，有大数据开发经验（优秀者可放宽）；

2、熟悉至少一种大数据计算引擎：Spark / Flink / Hive / Presto / Trino 等，具备离线与实时任务开发经验；

3、熟悉数据建模与数据仓库理念（ODS/DWD/DWS/ADS），掌握常见数据加工链路与指标开发方法；

4、熟练使用 SQL，具备良好的数据处理与排查能力，能够独立定位与解决数据链路问题；

5、了解云上数据栈与分布式存储（如对象存储、HDFS、Lakehouse等），具备数据存储与计算优化意识；

6、具备良好的工程能力与协作能力，能够推动数据交付在复杂业务场景下稳定落地。

【加分项】

1、有大模型/AI相关的数据管线经验（如推理日志、训练数据集、评测数据集等）或AI业务背景；

2、有多模态数据处理经验（图片/音频/视频）及相关存储、索引、ETL加工经验；

3、熟悉数据湖/湖仓一体（Hudi/Iceberg/Delta Lake 等）或云原生数据平台实践经验。