大数据工程师

职位描述

1、参与公司大数据平台的规划与技术架构，并推进大数据项目的系统落地实施；

2、与IT、业务团队深入合作，形成具有前瞻性的大数据能力并对业务形成强支撑；

3、搭建分布式的海量数据处理平台，通过数据平台不断创造价值；

4、主导开展大数据分析模型的建立、应用及监控，制定大数据领域的技术规范和推广使用；

5、研究大数据组件并进行升级换代，优化开源工具并实现本地化改造，打造有特色、自动化、智能化的先进数据平台。

任职要求

1、本科及以上学历，计算机、应用数学等相关专业，至少五年以上工作经验，有财产险行业经验优先；

2、熟悉hadoop生态系统内常见项目的使用(Kafka、hdfs、hive、hbase、Kudu、Spark、ZooKeeper、Impala、Yarn、Flink等)，具有Python、Flink 、MapReduce开发经验，具备至少两个以上大数据平台开发项目实施经验；

3、熟悉MPP架构分布式数据库(greenplum)，有实际开发经验的优先；

4、精通JAVA，熟悉基于J2EE的WEB架构设计，熟悉Web开发流程，有丰富的Web MVC(Struts/Spring MVC、Spring、Hibernate/Mybatis等)开发经验；

5、熟悉hadoop生态技术的体系结构和运行原理，对大数据平台集群环境的运行稳定、对整体自动调度作业运算能力和执行效率的性能提升有丰富的实践经验；

6、具有良好的沟通能力、组织能力及团队协作精神，有较强的分析和解决问题的能力。