太平金科-深圳分公司-数据平台运维岗

职位描述

1.平台日常运维：大数据集群（HDFS/YARN/Hive/Spark/Flink等）的日常巡检、组件启停、版本升级及配置管理，确保服务高可用；

2.监控与告警处理：利用Prometheus、Zabbix等监控工具实时关注集群健康状态，及时发现并响应告警，参与故障定位与恢复；

3.自动化工具开发：基于Shell/Python编写自动化运维脚本（如日志归档、资源清理、健康检查报表），提升日常运维效率；

4.容器化与云原生：参与基于Docker/Kubernetes的大数据组件容器化部署与维护，学习云原生运维最佳实践；

5.性能调优与容量规划：协助分析集群资源使用趋势，参与参数调优和容量评估，为业务增长提供稳定底座；

6.文档与知识沉淀：详细记录运维过程、故障案例和解决方案，形成内部知识库，定期进行技术分享；

7.完成领导交办的其他工作事项。

任职要求

1.本科及以上学历；

2.计算机科学与技术、软件工程、大数据技术、信息管理与信息系统、网络工程、通信工程、自动化等信息化相关专业；

3.要求具备扎实的计算机基础理论功底（数据结构、操作系统、计算机网络、数据库原理）；

4.熟练掌握常用命令（vim、grep、awk、sed、tar、ps、top、netstat等），能阅读系统日志，具备基本的系统问题排查能力；

5.系统学习过Hadoop生态（HDFS、YARN）、Hive、Spark、Flink等至少1-2个组件，有课程设计或实验项目经验；

6.熟悉MySQL或PostgreSQL，能编写复杂SQL，了解HiveQL基础；

7.熟练使用Shell或Python，能独立编写50行以上的运维辅助脚本；

8.了解Docker基本操作，对Kubernetes有概念性认识（如有实际部署经验更佳）；

9.理解TCP/IP协议栈，能使用ping、telnet、traceroute等工具进行基础网络连通性测试。