职位详情
Hadoop大数据维护
1.5-1.6万
北京科迈网通讯技术有限公司
北京
5-10年
大专
01-15
工作地址

中国联通1号

职位描述
岗位职责:
1、负责大数据集群的日常维护,包括监控、告警响应、告警处理等。 2、负责大数据集群的故障应急处理、根因分析、优化治理和隐患整改等。 3、负责大数据集群的租户管理,包括存储资源划分、计算资源划分和权限管控等。 4、负责大数据集群各组件的搭建、缩容、扩容、版本升级和迁移。 5、负责编写运维相关的自动化脚本,监控系统搭建、优化,撰写大数据平台运维相关文档。 6、负责大数据集群各组件BUG修复、安全漏洞修复。 7、大数据平台7*24小时值班,重大节假日活动期间重保值守。 8、协助上层应用完成异常作业优化。 9、新技术栈、新架构的研究,测试,部署和验证。

服务要求
1、大学专科8年或大学本科5年或研究生3年以上通信、互联网、计算机等专业领域工作经验。 2、具有专业领域一个及以上高级认证资质者优先。 3、精通Linux 基本命令,可对大数据集群底座环境进行性能优化。 4、精通ansible、expect、shell等自动化工具。 5、具有CDH、CDP、HDP、开源Hadoop等主流大数据平台的运营、维护、建设和升级经验。 6、精通JVM运行原理,并对常见的JVM性能问题进行深度优化。 7、精通HDFS、Yarn、HBASE、Spark、Flink、kafka、zookeeper、Hudi、alluxio、Hive、Trino、Knox、Ranger、MySQL,Oceanbase、Sentry、Clickhouse、LDAP等的原理,可处理常见问题。 8、可使用Ranger、knox、Kerboers、iptables对Hadoop集群进行安全加固。 9、熟练使用Promethus、Grafana、zabbix、Ganglia等开源监控工具的搭建和配置。 10、对Hadoop各组件有源码级分析能力。 11、掌握SQL语言,可编写Hive-SQL、MySQL-SQL、Spark-SQL、Flink-SQL。 12、对计算存储分离、联邦RBF、数据湖等架构有深入了解。 13、具有较强的学习能力、逻辑思维能力、沟通能力、团队协作能力,抗压能力强。 12、熟练使用Microsoft Office、XMind、Visio等办公软件。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请