一、 核心职责描述
平台运维： 负责CDH/NDH集群（HDFS, Hive, Spark, Impala, Kudu, HBase, Kafka等）的日常巡检、故障排除、参数调优及扩容升级。
工具开发： 基于Python/Java开发集群自动化运维工具、元数据管理及任务监控工具。
技术支持： 为业务线提供SQL调优（Hive/Impala）、Spark程序优化。
二、 岗位任职要求
1. 集群管理与组件运维
精通 CDH/NDH 生态体系： 具备大规模集群的规划、部署、扩容及升级经验。
中间件与基础环境： 熟练掌握 mysql、Redis、ElasticSearch、Zookeeper 的日常运维；
2. 运维开发能力（Python/Java）
具备后端开发能力： 熟练使用 Python 或 Java 以及Shell脚本进行工具开发。
3. 故障排查与性能调优
具备复杂生产环境下的故障排查能力，包括但不限于：节点宕机恢复、YARN资源争抢处理、Kerberos认证问题、DataNode掉线等。