数据Pipeline工程师（Pipeline平台构建方向）

职位描述

岗位职责

1. Pipeline平台构建：

– 构建统一数据Pipeline平台底座：任务编排与调度、批流一体加工引擎、链路依赖管理、失败重跑与断点续传，支撑三域（制造/产品/工程）数据加工与座舱采集数据后处理的规模化运行；

– 建设样本/特征生产链路，为训练平台提供标准化数据供给。

2. 开发范式与组件沉淀：

– 定义Pipeline开发模板、配置规范与可复用组件库，让领域链路开发（第1名Pipeline工程师及后续领域成员）以低代码/配置化方式上线新链路；

– 将数据质量规则（完整性、一致性、时效性校验）内嵌到链路框架，实现质量问题自动拦截与告警。

3. 性能与成本优化：

– 负责加工链路的资源调度优化、存储分层与计算成本控制；建立链路级SLA与可观测性（与评测观测岗协同）

任职要求

任职要求

硬性门槛（一票否决项）：

- 5年以上数据工程/数据平台开发经验；本科及以上学历，计算机/软件相关专业；

- 主导或核心参与过Pipeline平台/数据加工链路体系的 0→1 构建（非仅使用现成平台开发业务链路），须能讲清编排调度、依赖管理、失败恢复的设计取舍；

- 精通 Spark/Flink 之一并有生产级调优经验；熟悉任务编排系统（Airflow/DolphinScheduler/Dagster 或同类）；熟练使用 SQL 与 Python/Java/Scala；

- 有数据质量规则工程化、数据血缘在Pipeline层落地的实证。

加分项：

- 有湖仓一体（Iceberg/Hudi/Paimon）实践经验；有特征平台/样本库建设经验；

- 有AI训练数据Pipeline（语料/多模态数据加工）经验；有汽车或制造行业数据工程背景。