职位详情
大数据运维工程师
1.1-2.2万
浙江数新网络有限公司
杭州
3-5年
本科
05-06
工作地址

浙江省杭州市余杭区文一西路1218号

职位描述
岗位职责:
1、负责数据中台的规划、部署、管理和优化,保障中台稳定可靠高效运行;
2、负责CDH版本的 Hadoop、HBase、Hive、Spark、Kafka等集群的维护、优化工作;
3、建设大数据自动化运维、监控、故障处理工具,监控所有基础设施组件、应用程序,提供紧急应急措施;
4、使用 Kubernetes (k8s) 管理和维护容器化的大数据服务,确保它们的高可用性和性能;
5、设计和实施自动化运维脚本和工具,提高运维效率和系统稳定性。
6、协助开发团队部署和调试大数据应用程序,提供必要的运维支持。
7、编写和维护技术文档,包括操作手册、配置指南和故障排查指南。
8、跟踪大数据和容器技术的最新发展,评估和引入新的工具和技术以提升系统性能和运维效率。
任职要求:
1、本科及以上学历,3年以上大数据运维经验,计算机相关专业优先;
2、精通 Kubernetes 和容器技术,有在生产环境中管理大规模 Kubernetes 集群的经验。
3、精通Hbase数仓,有过百台及以上Hbase集群运维经验,能够熟练解决Hbase Region热点,数据冷/热备份,容灾集群数据同步,读写优化等
4、精通一门以上脚本语言(shell/python等);
5、熟悉CDH版本的 Hadoop、HBase、Kafka、Hive、Spark等组件的工作原理,并有3年以上Hadoop生态系统维护与性能调优经验;
6、深入理解linux系统,运维体系结构,精于容量规划、架构设计、性能优化;
7、具备很强的ownership,故障排查能力,有很好的技术敏感度和风险识别能力;
8、能够独立工作,同时也是团队合作的良好团队成员,良好的服务意识,善于团队协作,项目管理,主动思考,自我驱动力强;
9、优秀的沟通能力和技术文档编写能力;
10、熟悉分布式系统设计范型,有大规模系统设计和工程实现的了解者优先;
11、有使用自动化工具(如 Ansible、Jenkins)的经验者优先;
12、有云计算平台(如 阿里云、AWS、Azure、GCP)经验者优先。
熟悉大数据引擎生态,有相关大数据引擎运维经验的优先录用

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请