大数据开发工程师(J14771)

职位描述

1、负责从源系统到大数据平台的全量及增量数据同步方案设计与开发。

2、解决异构数据源的高并发、低延迟同步难题，确保数据的一致性与完整性。

3、针对小文件多、数据维度复杂等特点，优化同步策略，防止数据倾斜。

4、利用Shell/Python脚本编排复杂的任务，实现自动化运维、异常监控及告警机制。

5、对Spark/Hive SQL及Python脚本进行深度性能调优，解决大规模数据计算中的资源瓶颈。

6、沉淀通用的ETL组件与脚本库，提升团队开发效率。

任职要求

1.计算机相关专业本科以上学历，5年以上大数据开发经验。

有处理PB级数据、复杂ETL链路及大规模离线同步项目的成功案例。

2.精通 Python、Shell、Sql编写，能熟练进行数据的同步加工处理。

3、精通 Hadoop生态（HDFS, Hive, YARN），具备Spark任务调优经验。

4、精通主流数据同步工具，半导体行业经验优先。