大数据工程师(J12307)

职位描述

1、负责核心事实表、维度表及通用汇总层的设计、开发与持续优化。深入理解业务过程，基于维度建模理论设计高内聚、低耦合、可扩展的公共数据模型，并推动分层规范（ODS/DWD/DIM/DWS/ADS）的严格执行。

2、使用Hive、Spark等工具开发与维护高性能、高可用的数据处理任务。专注于SQL与代码优化、资源调优、小文件治理等，保障数据加工流程的稳定性和SLA。

3、设计并实施数据质量监控规则，主动发现并解决数据问题。参与制定数据标准，推动模型与数据的资产化管理，确保公共层数据的准确性、一致性和完整性。

4、主导或深度参与新业务领域的数据模型设计，产出规范文档。与业务、数仓、算法、BI等团队紧密协作，澄清需求，推动数据公共层的有效使用与持续改进。

任职要求

1、本科及以上学历，计算机、数学、统计学或相关专业。

2、8年及以上大数据开发或数据仓库开发经验。必须具备大型企业数据仓库公共层建设与维度建模的成功实践经验。

3、精通：​ SQL（复杂逻辑与高性能优化）、数据仓库理论与维度建模方法论（Kimball）、至少一种大数据处理引擎（Hive/Spark-SQL）。熟练掌握Hadoop生态（HDFS, YARN）、Linux及Shell脚本。

4、具备优秀的数据建模与抽象能力、ETL工程与优化能力、系统性思维。