职位详情
大数据湖仓运维工程师
1.5-1.8万
深圳市龙岗区智城大数据有限公司
深圳
5-10年
本科
11-13
工作地址

龙岗创投大厦503

职位描述
岗位职责:
1.负责大规模湖仓集群的全面运维和优化工作,保证集群接、存、管、用、发的稳定和高可靠性。
2.负责大数据湖仓集群和运维和监控,保障集群和数据业务高可用;
3.负责基于湖仓大数据监控预警,及时进行故障恢复;

任职要求:
1. 本科及以上,计算机/数据相关专业。 扎实 Linux/网络/存储基础;熟练 SQL;能读写 Java/Scala/Python/Go 至少一种。
2.具备5–8 年数据平台/大数据运维经验,独立负责过至少一种:Kafka/Flink/Spark/Trino/ClickHouse 的部署、调优、HA、升级与容量规划。
3.熟悉 Iceberg 与对象存储(S3/MinIO),理解 Snapshot/TTL/Manifest/Rewrite 与多引擎访问;熟悉 Paimon 热层与 Upsert/Compaction。
3.具备 Schema Registry 兼容级别治理与 DLQ 回放实践。
4.有 Airflow 编排、OpenLineage/Marquez 血缘接入、Atlas/Ranger 权限与审计落地经验。
5.熟悉 Kubernetes(含 StatefulSet/Helm)、Prometheus/Grafana 监控与告警运维。

加分项:
1.OpenSearch 全文/向量召回,Redis 缓存(Cache-aside/Write-through)实践。
2.ClickHouse 大表冷热分层与 MergeTree/分区/并行优化经验。
3.地理空间(Apache Sedona)、向量检索(Milvus/FAISS)与多模态数据治理经验。
4.有 PB 级对象存储运维、S3 分段上传与生命周期策略落地经验

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请