大数据开发工程师

职位描述

1. 负责上汽大乘用车智能车全域数据接入，离线/实时计算等（含车联网、车机、智驾及APP等其他业务数据）

2. 负责大数据服务，包括数据解析、数据API、数据同步等

3. C端、B端相关Data Agent开发，故障监控、产品体验分析、行驶报告等数据开发

4. 数据存算、数据治理、多模态数据管理平台等服务组件的研发、管理、使用等

5. 大数据运维，生产作业调优，告警问题处理

任职要求

1、本科及以上学历，计算机相关专业优先

2、熟悉大数据开发基础理论和链路，熟悉Hadoop相关生态组件及大数据相关查询、调度等产品，有大数据相关研发经历优先

3、熟悉Flink、Spark等至少一种实时和离线计算框架，能够基于框架API进行数据开发和组件封装

4、熟悉并熟练使用Clickhouse、Starrocks、Doris、Hive等一个或多个数据库，熟悉Iceberg、Paimon、Hudi等至少一种数据湖使用

5、熟悉SQL，熟悉并能够使用JAVA、Scala、Python等一种或多种语言进行开发

6、了解Linux操作系统和Shell命令，了解MySql/PostgreSql等关系型数据库

7、了解元数据管理、数据质量相关概念，有相关产品使用经验和数据治理经验优先

加分项：

1、开源软件阅读或提交经验

2、大数据框架（Spark、Flink等）二次开发经验

3、图数据库或时序数据库使用或研发经验

4、基于Spring等框架的应用开发经验

5、AI Agent，Data Agent开发经验，熟悉NL2SQL，Text2SQL搭建和使用

6、多模态数据（文档、图片、视频、语音等）开发经验，大模型数据开发经验

7、过往车联网大数据、智驾数据闭环等工作经验