大数据研发工程师(J16427)

职位描述

1、数据湖仓平台建设 ：构建基于Iceberg/Hudi/Delta Lake的企业级数据湖仓平台，实现统一元数据管理、数据组织优化和存储成本控制；

2、流批一体计算架构 ：建设Spark/Flink/Trino流批一体计算引擎，支撑大规模数据处理与实时分析，确保数据一致性和时效性；

3、数据治理与质量保障 ：建立数据质量门禁体系、Schema Registry服务和OpenLineage数据血缘追踪，实现端到端数据可观测性和可追溯性；

4、系统性能与成本优化 ：在Kubernetes平台构建高可用架构，实施查询加速技术和分层存储策略，优化系统SLO和单位计算成本；

5、安全合规与工程效能 ：实现RBAC权限控制和数据脱敏机制，建设监控告警体系和自动化发布流水线，满足车规级合规要求。

任职要求

1、3 年以上大数据平台研发经验，精通 Python/Java/Go 其一，具备扎实的 SQL 与数据建模能力；

2、熟悉数据湖仓生态：熟练使用 Iceberg/Hudi 与 Parquet/ORC、分区/排序/文件大小治理等大数据湖仓生态组件；

3、掌握计算与消息中间件：如 Spark/Trino/Flink/Kafka/RabbitMQ；理解乱序处理、状态一致性等大数据处理特性；

4、了解云原生与存储：K8s、容器网络/资源配额；对象存储（S3/OSS）与成本优化策略（冷热分层、去重、生命周期）；

5、良好的跨团队协作与问题拆解能力，能以指标驱动交付质量与成本优化。

加分项：

1、有 OpenLineage/Atlas、Nessie/lakeFS、DVC 等血缘与版本分支实践；

2、有 StarRocks/ClickHouse/物化视图/向量检索的查询加速经验；

3、参与过自动驾驶数据闭环/样本挖掘/标注平台/评测回放等业务场景；

4、具备任务编排与工作流经验（Airflow/Argo/Luigi）与资源运营（Quota/调度/抢占）；

5、成本治理案例（存储成本/计算成本/单位 clip 成本下降）与 SLO 治理实践。