职位详情
大数据运维工程师
1.3-2.2万
江苏苍龙琪信息技术有限公司
上海
5-10年
不限
10-30
工作地址

G60科创云廊-7号楼13层

职位描述
湖仓一体大数据平台运维:
1)具备湖仓一体大数据平台核心组件(如Hadoop、Spark、Hive、HBase、ClickHouse、Flink)的部署与运维能力,熟练通过非容器化方式完成组件安装、配置优化及集群扩缩容,确保数据存储与计算层稳定运行;
2)精通湖仓一体架构下的故障排查,能快速定位组件启动失败、数据读写异常、任务执行卡顿等问题(如HDFS块丢失、YARN资源调度冲突),通过日志分析、性能监控工具(如Ganglia、Prometheus)高效解决故障,保障数据链路完整性与服务可用性;参与湖仓一体平台数据流转流程设计,熟悉数据从接入(Flume、Kafka)、存储(HDFS)、计算(Spark/Flink)到查询(Presto)的全链路运维,能配合业务团队优化数据处理性能,提升平台整体运行效率。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请