数仓研发工程师

职位描述

1、理解公司业务和数据，建设数据仓库，业务数据模型持续优化

2、负责数据的采集清洗加工处理的脚本开发，为数据挖掘提供有效的数据资产。

3、负责响应离线数据需求对数据资产进行数据统计、分析、提取处理

4、参与业务分析、抓取等数据相关工作。满足业务方的数据需求，提供面向业务的OLAP、报表、数据提取等数据服务

5、参与数据产品和标签体系建设:根据业务发展的不同阶段，围绕用户、商户、客户等，参与建设、优化业务数据指标和标签体系

任职要求

1、计算机相关专业优先，有3年以上大数据处理相关工作经验

2、熟悉数仓常见分层架构，熟悉大数据集群的HIVE、HDFS、HBASE等常见组件的使用及

性能调优

3、强大的SQL能力，能编写常用的SHELL脚本、python脚本，熟练使用常见的azkaban等数仓ETL工具

4、熟悉常见离线数仓处理流程、有实时数据处理者优先。

5、有pySpark开发经验的优先