职位描述
岗位职责:
1. 负责Cloudera CDP集群的部署、升级、扩容、监控及日常运维,保障平台高可用性。
2. 优化Hadoop生态组件(如HDFS、YARN、Hive、Impala、Spark、Kafka、HBase等)性能,解决资源调度、存储与计算瓶颈问题。
3. 配置Kerberos认证、Ranger权限策略,管理用户访问控制(ACL)。
4. 进行故障诊断与应急响应,快速定位并解决集群组件故障(如节点宕机、服务不可用、数据倾斜等),编写故障报告与复盘文档。
5. 协助开发团队优化Impala/Hive作业性能,提供资源分配建议。
6. 负责大数据集群的监控、巡检等日常工作,确保系统稳定运行。
岗位要求:
1. 具备3年以上大数据平台运维经验,至少1年Cloudera CDH/CDP实战经验。
2. 熟悉Hadoop生态核心组件原理,掌握HDFS/YARN资源管理、Hive/Impala查询优化、Kafka消息队列调优。
3. 熟练使用Cloudera Manager管理集群,熟悉CM API或命令行工具(如cms)。
4. 熟悉Linux系统管理,掌握Shell/Python脚本开发。
5. 理解分布式系统网络架构(如高可用、负载均衡),熟悉防火墙与端口配置。
6. 具备良好的问题分析与解决能力,能承受7×24小时紧急响应压力。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕