【集团】-大数据开源组件研发工程师

职位描述

负责公司大数据基础架构核心组件的研发、优化和稳定性建设，重点参与流计算平台、海外云大数据平台以及开源大数据底座能力的持续演进。

1. 参与 Hadoop、Spark、Flink、StarRocks 等开源组件的源码分析、问题定位、二次开发和版本升级；

2. 重点负责 Flink / Spark Streaming 等流计算相关组件的性能优化、稳定性治理、任务调度优化和故障排查；

3. 参与海外云环境下大数据平台的架构设计、成本优化、资源治理和稳定性建设，包括 Azure、Google Cloud、AWS 等云平台；

4. 根据业务场景对实时计算、离线计算、存储、Shuffle、调度、查询等核心能力进行定制化改造；

5. 参与流批一体、湖仓一体、存算分离、对象存储适配等方向的技术预研、方案设计和落地实施；

6. 跟踪开源社区及海外云厂商大数据产品的发展，沉淀技术文档、最佳实践和平台化能力，提升团队整体研发效率。

任职要求

1. 计算机相关专业，本科及以上学历；

2. 熟悉 Java / Scala / C++ / Go 中至少一种编程语言，具备良好的编码能力和工程实践能力；

3. 熟悉 Hadoop、Spark、Flink、StarRocks 中至少一项，有源码阅读、问题排查或二次开发经验优先；

4. 具备流计算相关经验，熟悉 Flink、Spark Streaming、Kafka、CDC、实时数仓或实时数据链路中的至少一项；

5. 理解分布式系统基本原理，如任务调度、状态管理、Checkpoint、Shuffle、容错、资源管理、存储一致性等；

6. 了解公有云大数据产品或云原生基础设施，有 Azure、Google Cloud、AWS 等海外云使用经验优先；

7. 具备较强的问题分析能力、学习能力和技术钻研精神，能够深入源码定位复杂问题；

8. 对开源技术有兴趣，愿意长期深入大数据基础架构、流计算和云上数据平台方向。