大数据开发工程师(J23536)

职位描述

1、负责离线与实时数据链路建设，包括数据采集、清洗、加工、建模、调度和服务化输出。

2、参与数据仓库分层设计、主题域建模、指标口径梳理和数据质量规则落地，支撑业务分析、报表和智能应用数据需求。

3、基于 Hadoop/Hive/Spark/Flink/Kafka 等组件开发稳定、高性能的数据处理任务，处理任务延迟、资源消耗和稳定性问题。

4、参与数据平台研发规范、任务调度规范、数据质量与运维保障规范建设，沉淀可复用的数据开发模板和文档。

5、与应用、算法、业务团队协作，将业务需求抽象成可维护的数据模型和数据服务接口。

任职要求

1、本科及以上，计算机、软件工程、数据科学等相关专业；3-5年大数据开发或数据仓库开发经验。

2、熟练掌握 SQL，具备复杂 SQL 编写、调优和数据问题排查能力。

3、熟悉 Hadoop、Hive、Spark、Flink、Kafka、HBase 等一种或多种大数据组件，了解分布式计算和流批处理基本原理。

4、具备数据仓库建模、ETL开发、任务调度和数据质量治理经验，能够独立完成从需求理解到上线运维的闭环。

5、至少熟练 Java、Scala、Python 中一种开发语言，具备良好的代码质量、版本管理和文档习惯。

6、具备生产环境问题定位能力，能处理任务失败、数据延迟、倾斜、资源瓶颈和口径不一致等常见问题。