数据挖掘平台工程架构开发工程师

职位描述

一、核心职责

负责数据挖掘平台的核心工程架构设计与开发实现，保障平台高可用、高并发、高性能运行；

主导数据处理流水线、分布式计算引擎、存储系统等核心模块的开发与优化，支撑海量数据高效处理；

负责平台工程化能力建设，包括自动化部署、监控告警、故障排查、版本迭代等，提升研发与运维效率；

对接数据挖掘算法团队，将算法模型高效工程化落地，解决算法与工程结合中的性能、兼容性问题；

优化平台资源利用率与处理延迟，推动技术架构持续迭代，保障平台稳定可靠服务业务场景。

任职要求

二、任职要求

本科及以上学历（计算机 / 软件工程相关），5 年+后端工程开发经验，至少3 年+大数据平台或数据挖掘相关系统开发经验；

精通Java/Go/Python（至少一门主力语言），深入理解分布式系统原理，熟练掌握 Spark/Flink/Kafka/Hadoop 等大数据技术栈；

具备大型数据平台架构设计与落地经验，熟悉高并发、高可用系统设计模式，有性能调优与瓶颈突破实战案例；

掌握数据库设计与优化，熟悉容器化（Docker/K8s）、CI/CD流程及自动化运维工具；

具备良好的工程化思维与问题排查能力，有数据挖掘平台或大数据处理系统从零到一搭建经验者优先；

较强的团队协作能力，能高效对接算法与业务团队，推动项目落地。