高级大数据开发工程师

职位描述

1.搭建和维护自研/云原生数据仓库、数据湖或Lakehouse，形成统一数据底座。

2.开发数据抽取、转换和加载任务，完成业务系统、埋点数据、外部数据到数仓的集成、清洗和建模。 3.建设主题域模型、维度模型、明细层、汇总层和统一指标层，支撑跨品牌、跨区域复用。

4.建设数据质量监控、调度编排、失败重试、血缘和数据运维机制。

5.对外提供标准化数据服务，如数据集市、数据接口、指标表和分析数据集。

6.按数据治理标准在数仓侧溶地字段规范、数据分级、权限、脱敏和质量规则。

7.参与数据平台性能优化、成本优化、存储生命周期和任务稳定性治理。

任职要求

1. 本科及以上学历，计算机、数据科学、软件工程、统计等相关专业。

2.3年以上数据开发、数仓建设、大数据开发或数据平台相关经验。

3.扎实的 SQL能力，熟悉至少一种编程语言，如 Python、Java、Scala。

4.熟悉数据仓库分层、维度建模、Kimball方法、指标层设计和数据质量治理。

5. 熟悉Spark、Flink、Hive、Doris、Kafka、DolphinScheduler、Hadoop、DataX等技术中的一种或多种。

6.具备良好的问题排查、性能优化、文档沉淀和跨团队沟通能力。

7.能使用 AI工具进行SQL数据集成/处理任务开发、模型设计、性能调优、数据质量规则生成、任务排错和开发文档整理。