大数据工程师(J15294)

职位描述

1.负责车联网海量实时与离线数据的采集、清洗、存储、计算与服务体系建设；

2.设计并开发高可靠、高吞吐、低延迟的车联网大数据处理 pipeline，支撑车辆状态监控、驾驶行为分析、故障预警、OTA 升级等核心业务；

3.构建统一的数据模型与指标体系，支持车端数据的标准化处理；

4.保障数据平台稳定性、安全性与合规性（符合 GDPR、国内数据安全法等要求）；

任职要求

1、熟悉Linux/Unix系统和丰富的Java开发经验；熟练使用Spring boot，具备从事分布式相关系统的开发 ；

2、精通大数据仓储技术栈有(Spark、Hive、HBase、redis、kafka、Hadoop等)相关开发经验 ；

3、精通SQL，熟悉常用主流数据库，包括MySQL、PostgreSQL、Redis、MongoDB，并精通其中任意一种，具有SQL性能优化经验 ；

4、掌握主流ETL开发工具（Sqoop、Kettle）；

5、熟悉至少一种实时计算引擎 Storm, Spark Streaming, Flink；

6、对大数据治理、数据分析、BI，数据安全等大数据相关领域了解其一或部分；

7、具有机器学习/AI数据训练背景优先。