太平金服 - 太平通 - 数据开发工程师

职位描述

岗位职责：

1、负责大数据平台搭建以及数据中台项目开发；

2、负责数据仓库和大数据处理模块的架构设计和开发，完成数据接入、清洗、分析等开发工作；完成数据安全，加密存储及传输等开发工作；

3、负责基于hadoop、Spark、Flink技术的海量数据的处理、分析、统计、挖掘工作；

4、根据业务和产品，抽象业务逻辑，设计、实现数据接入等模块；

5、总结和编写相关的开发文档；并能够根据规划需求制定相关技术与产品的解决方案。

任职要求

岗位要求：

1、全日制本科及以上学历，有计算机相关行业5年及以上工作经历，至少3年的大数据行业实践经验；

2、掌握大数据生态技术栈，熟练使用hadoop生态圈中的常用组件，如Spark、HBase、Hive、Zookeeper、Kafka、flume、Sqoop等全部或者部分组件；

3、掌握数据仓库(DW)/OLAP/商业智能(BI)/数据统计理论，并灵活的应用；

4、拥有实际的Spark streaming或Flink项目经验者优先；

5、有机器学习或深度学习项目经验优先；

6、CDH或DataWorks框架体系精通者优先。