聚变大数据工程师(J17279)

职位描述

数据平台设计与开发：

负责核聚变实验数据平台的架构设计与实现，包括数据采集、存储、处理、分析和可视化全链路。

设计并实现高效的实验数据存储方案，支持 PB 级别数据的高效写入与查询。

 数据管道构建：

开发可靠的数据 ETL 流程，支持实验数据从采集到分析的全程自动化。

构建支持实时和离线计算的数据管道，满足不同实验场景的分析需求。

 数据计算与优化：

使用分布式计算框架（如 Flink、Spark 等）处理和分析海量实验数据。

优化数据存储与计算性能，提升查询速度和系统稳定性。

 系统监控与维护：

搭建监控和告警系统，确保数据平台的高可用性和稳定性。

定期对系统进行性能评估和优化，支持扩展性和容灾能力。

 团队协作与支持：

与科研团队紧密合作，理解核聚变实验数据的特性和需求，设计针对性的解决方案。

为团队提供技术支持与指导，推动数据开发团队的技术能力提升。

任职要求

计算机科学、数学、物理或相关专业硕士及以上学历，具备 3 年以上数据开发或大数据处理相关工作经验。

 熟悉以下技术栈中的至少一种：

分布式计算框架：Flink、Spark、Hadoop 等。

数据库与存储：ClickHouse、PostgreSQL、HBase 或其他分布式数据库。

消息队列：Kafka、RabbitMQ 等。

 熟练掌握数据建模、ETL 流程开发，能够在复杂场景下设计高效的数据管道。

 深入理解分布式系统原理，具备大规模数据处理与性能优化的经验。

 熟悉 Linux 操作系统，熟练使用 Shell 脚本、Python 或 Java 进行开发。

 较强的沟通能力，能够与科研人员、产品团队和开发团队高效协作。