职位描述
岗位职责:
1、数据中心及归数据中心管理但为独立用户的大数据平台的日检、周检、月检:
1)检查大数据平台及各组件、各租户是否处于正常服务状态;
2)监测大数据平台及各组件、各租户的资源状况;
3)平台优化升级;
2、平台故障处理;
3、支撑各业务测试场景的设计、搭建、验证,生产环境的部署和上线;
4、完成领导交办事项;
工作要求:
1. 精通 Hadoop、Spark、Flink、Kafka 等大数据组件的部署、配置、监控与调优;
2. 熟练掌握 Linux 系统管理,能熟练使用 Shell、Python 脚本进行自动化运维;
3. 熟悉 Docker、Kubernetes 容器化技术,具备大数据集群容器化部署与管理经验;
4. 掌握 Prometheus、Grafana、Zabbix 等监控工具,能搭建大数据平台全方位监控体系;
5. 具备大数据平台故障排查能力,能快速定位并解决 HDFS、YARN、Hive 等组件的常见故障;
6. 了解大数据平台性能调优方法,包括资源分配、参数优化、任务调度优化等;
7. 有大数据平台版本升级、数据迁移经验者优先;
8. 具备良好的沟通能力和团队协作能力,能配合业务部门完成测试、上线等工作。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕