职位描述
驻场华夏金租
(以下提到恒河平台,为赢时胜大数据产品,将有赢时胜远程运维支持,需要根据远程指令进行现场操作):
一.数据平台组件维护升级
1、hadoop、yarn、hdfs维护、升级
2、zookeeper维护、升级
3、恒河平台调度系统维护、升级(产品jar包替换、测试等)
4、hbase、hive、doris、elasticsearch维护、升级
5、kafka、konx、minio维护、升级
6、ldap、kerberos、ranger维护、升级
7、datax、flink、spark、presto维护、升级
8、恒河平台用户中心、运维平台、调度平台、资源中心、监控平台维护、升级 (产品jar包替换、测试等)
二.日常任务
1、恒河平台调度任务实时、准实时、离线数仓任务巡检及报错排查处理(需要熟悉恒河产品的常用功能)
2、hbase、hive数据生命周期管理
3、元数据上报(按照现有机制完成)
4、技术支持数仓及任务开发(需要的技术有shell、sql,非开发,类似sql优化、用shell调用http短信服务等接口进行短信预警等,偶发非常规工作)
5、支持平台对光伏、地上铁、工程机械物联网,客服、第三方GTP、其他业务部门数据服务(需要熟悉kafka,能完成kafka的topic分配、日志排查)
6、平台服务及组件漏洞修复升级 (产品jar包替换、测试等)
7、支持各业务导数据需求 (进生产操作间获取业务需要提取的文件等)
8、维护平台用户权限管理(需要熟悉恒河产品的常用功能)
9、大数据平台容量管理 (hadoop扩容、偶尔可能有基于恒河产品远程运维支持对产品进行横向、纵向扩容)
面试运维人员应该能够使用其中大部分组件,包括服务启停、日志查看、升级维护等,有信心完成清单中的工作任务。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕