职位详情
数据平台架构师(J10203)
2-2.5万
山东东明石化集团有限公司
济南
不限
本科
01-16
工作地址

大宗能源商品总部产业园

职位描述
岗位职责:
1. 结构化数据服务平台建设
自动化集群部署:设计和实现数据库集群(如MySQL、PostgreSQL、Oracle高可用架构)的快速部署、自动化扩缩容与配置管理。
自服务门户:建设内部平台,让业务方可以自助申请、创建、监控和管理自己的数据库实例。
高可用与容灾:为每个数据库实例提供默认的高可用方案(如自动故障切换)和备份恢复机制(如定时快照、Binlog备份)。资源隔离与配额管理:实现CPU、内存、存储和连接数的资源限制与监控,防止单一服务过度消耗资源影响其它服务。
2.非结构化文件服务平台建设
主导非结构化数据存储架构规划,设计整合对象存储、文件系统等混合存储方案
构建高可用分布式存储集群,设计数据冗余策略和跨区域容灾方案
确保平台具备弹性扩展能力,满足业务快速增长需求
提供标准化的S3、NFS等访问协议,确保与各业务系统无缝集成
3.大数据基础平台建设
实时分析平台:设计基于 Apache Flink 的流处理管道。选择合适的实时OLAP数据库(如 ClickHouse、 Apache Doris)。
离线分析平台:构建基于 Apache Spark、Hive、Tez 的大规模分布式批处理集群,与资源调度器(如 YARN、 Kubernetes)紧密集成,高效管理集群资源。
交互式查询:架构和优化OLAP引擎,如 Presto / Trino、 Apache Druid、 ClickHouse,设计湖仓一体架构,使查询引擎能直接、高速地分析数据湖(S3)中的数据。
任职要求:
1.结构化数据服务能力:精通主流数据库(MySQL/PostgreSQL/Oracle)的高可用架构、自动化运维与平台化建设,具备资源隔离与容灾备份设计经验。
2.非结构化数据架构能力:掌握对象存储与文件系统,能设计高可用、可弹性扩展的分布式存储集群及跨区域容灾方案。
3.大数据平台技术栈:具备构建实时(如Flink)、离线(如Spark/Hive)及交互式查询(如Presto/ClickHouse)数据处理平台的能力,熟悉湖仓一体架构。
4.平台化与自动化思维:擅长通过自服务门户、自动化部署与资源管理,提升数据基础设施的效率和资源治理水平。
5.计算机软件相关专业,本科及以上学历,年龄在35周岁以下。
6.适应长期出差、高压力环境下工作,快速适应企业文化。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请