大数据开发工程师(J66512)

职位描述

1、数据处理与分析

（1）利用华为云大数据平台工具(如Hadoop、Spark等)进行大规模数据的存储、处理和分析；

（2）完成数据的采集、清洗、转换和加载(ETL)工作，确保数据质量与一致性；

（3）熟练使用可视化工具，可根据业务需求，设计和开发高效的数据处理流程，支持实时和离线数据分析。

2、项目开发与交付

（1）参与基于华为云大数据平台和帆软BI的项目开发，负责需求分分析、技术选型、架构设计和代码实现，要求有接口开发能力；

（2）与业务团队紧密合作，理解业务需求，提供数据支持和解决方案；

（3）编写技术文档，包括项目设计文档、用户手册和运维手册，确保项目交付的完整性和可维护性。

3、大数据平台运维与优化

（1）负责华为云大数据平台的日常运维工作，包括集群部署、配置管理、性能监控与调优，确保平台稳定运行；

（2）定期对平台进行性能评估与优化，提升集群资源利用率和数据处理效率；

（3）解决平台运行过程中出现的各种技术问题，保障业务连续性。

任职要求

1、学历背景：本科及以上学历，计算机科学、信息技术、数学或相关专业，有互联网实习经历加分；

2、技术技能：

（1）熟练使用可视化工具：有看板搭建经验，熟悉Fineroport平台的功能和使用方法加分；

（2）大数据技术栈：精通Hadoop、Spark、Hive、HBase等大数据技术，具备实际项目开发经验；

（3）编程语言：熟练掌握Java、Python等编程语言，具备良好的编程能力和代码规范；

（4）华为云大数据平台：熟练掌握华为云大数据平台的架构设计、部署和运维，具备丰富的集群管理经验；

（5）数据处理能力：具备扎实的数据结构和算法基础，能够高效处理大规模数据。