大数据开发人员

职位描述

1、负责公司大数据整体方案的设计和规划，包括大数据应用平台设计、搭建和日常优化作业；

2、参与计算框架和服务的定制开发，为公司在线实时提供技术支撑；

3、基于业务需求和应用场景，设计和实现公司大数据相关产品；

4、负责设计、开发、优化数据接入、数据存储、数据计算服务框架；

5、负责优化分布式架构，解决大并发下的各种问题。

任职要求

1、3年以上大数据相关工作经验；

2、有从事分布式数据存储与计算平台应用开发经验，熟悉Hadoop生态相关技术并有相关开发经验，掌握Spark开发技术；

3、丰富的数据平台架构经验，精通数据建模理念和实战能力；有海量数据处理经验，在数据开发及应用上有一定的成功经验；

4、熟练掌握Hive、Spark、Flume、Kafka、HBase、Storm等Hadoop生态系统组件的使用；

5、具备扎实的理论基础和实践能力，具备一定的JAVA、Scala、Python语言的开发能力，具备机器学习算法能力尤佳；

6、熟悉MySQL、Oracle数据库及Redis、MongoDB等NoSQL数据库的技术开发；

7、有ETL（Extract-Transform-Load）开发经验者优先；

8、良好的思维逻辑性、语言表达能力。