大数据引擎开发

职位描述

- 参与大数据引擎架构设计和核心模块开发，负责分布式算子、组件的设计、实现和性能优化。

- 负责大数据引擎中分布式算子的设计与开发，涵盖数据转换、聚合、过滤等各类操作，以满足不同业务场景下的数据处理需求。

- 开发大数据引擎所需的各类组件，如数据输入输出组件、缓存组件、调度组件等，保障引擎各环节的稳定运行。

- 基于 MapReduce 等计算模型，开发和优化分布式数据处理算法，提升引擎计算效率和资源利用率。

- 参与大数据相关技术中间件的改造和优化，例如 HDFS、YARN、Spark、Flink 等，提升其性能和稳定性。

- 在团队内部积极分享技术经验和知识，对初级开发人员进行技术指导，提升团队整体技术水平。同时，与其他技术团队协作，共同完成复杂的大数据项目

任职要求

- 计算机科学、软件工程或相关专业本科及以上学历，5年以上大数据开发经验，具备扎实的计算机基础知识和良好的编程功底。

- 精通 MapReduce 编程模型，深入理解其原理和运行机制，能够熟练编写高效的 MapReduce 作业。熟悉分布式计算原理，掌握分布式系统中的数据划分、任务调度和容错处理等技术。

- 精通 Java、Scala 或 Python 等至少一种编程语言，具备良好的编程习惯和代码规范。能够运用所选语言进行复杂的数据处理逻辑开发和性能优化。

- 具有丰富的分布式算子开发经验，熟悉常见的数据处理算子（如 Map、Filter、Reduce、Join 等）的实现原理和优化方法。能够根据业务需求设计并实现高性能、可扩展的分布式算子。

- 熟练掌握组件化开发思想，有开发大数据相关组件（如数据采集组件、数据处理组件、数据存储组件等）的经验。能够对组件进行良好的封装，提供清晰的接口和文档，方便其他开发人员使用。

- 深入了解至少一种主流大数据引擎（如 Apache Spark、Apache Flink 等）的架构、核心原理和运行机制。有对大数据引擎进行定制化开发、性能优化或功能扩展的经验。

- 熟悉 Kafka、Zookeeper、HBase 等常见大数据技术中间件的原理、架构和使用场景。具备对这些中间件进行改造、优化和故障排查的能力。

- 掌握数据处理的基本流程和方法，包括数据清洗、转换、集成等。熟悉常见的数据挖掘和机器学习算法原理，能够将算法应用于大数据处理场景。

- 加分项

- 有大数据引擎开发经验，熟悉底层原理和实现细节。

- 熟悉分布式系统设计模式和高性能编程技巧。

- 有大数据相关开源项目贡献经验