大数据开发工程师(J10858)

职位描述

1、负责核心业务模块数据仓库的构建；

2、对数据模型进行设计，ETL实施、ETL性能优化、ETL数据监控以及一系列技术问题的解决；

3、构建用户主题、各业务线主题、推荐主题、BI门户系统，并对全产品线数据字典维护，提升数据资产质量；

4、参与交付文档撰写；

5、完成领导分配的其他工作。

任职要求

1、统招本科毕业；

2、2年以上工作经验或3个中大型数据类项目经验；有责任心和团队协作意识；

3、应掌握数据采集与集成： 设计并实现数据采集方案，从各类数据源（如业务数据库、日志文件、第三方 API 等）提取数据。 处理异构数据（结构化、半结构化、非结构化），通过 ETL（提取、转换、加载）或 ELT 流程完成数据清洗、转换和整合。 确保数据采集的实时性和稳定性，例如使用 Flume、Kafka 等工具处理实时数据流，或通过 Airflow、DataX 等调度批量任务；

4、应掌握数据存储与建模： 设计数据存储架构，选择合适的数据库或数据仓库（如 Hive、Spark SQL、Snowflake、MySQL 等）存储数据。 构建数据模型（如维度模型、范式模型），优化数据结构以提升查询效率和存储利用率。 管理数据分层（如 ODS、DWD、DWS、ADS 层），确保数据逻辑清晰、便于复用；

5、应掌握 数据计算与开发： 开发数据处理脚本或程序，使用 Spark、Flink 等分布式计算框架处理大规模数据。 实现数据聚合、关联、排序等复杂计算逻辑，支持业务指标统计、用户行为分析等需求。 优化数据处理性能，解决数据倾斜、计算耗时过高等问题。