职位描述
岗位职责要求
1、负责大数据平台、数仓平台相关组件安装、部署,故障排查与修复,保障平台正常运行
2、负责平台基础资源运维,包括资源监控、系统漏洞修复、制定扩容计划,完成扩容操作
3、负责平台数据采集加工任务运维,包括任务监控、任务优化、数据质量核对,保障数据任务高效运行
4、负责数据应用运维,包括问题排查与修复、部署升级、数据质量核对,保障应用功能和数据正常
5、参与运维方案、故障预案制定,负责完成运维报告编写
6. 平台承接:接收数据层面资料(架构、表结构、模型血缘、存储策略);摸清大数据平台数据运营现状(调度、性能、优化记录),承接大数据整体运营职责;
7. 模型与架构:结合平台,进行逻辑/物理模型设计(优化或新建);完成大数据平台架构承接与优化,设计数据链路复用方案;
8. 数据开发:负责大数据开发、指标开发和数据服务开发(基于平台开发组件)等数据和服务开发工作
9. 数据应用支撑:基于应用场景,进行应用需求分析,设计适配的数据模型或指标体系;保障模型对应用的支撑能力;
任职详细要求
一、教育背景及工作经验:
1.第一学历为本科及以上学历,985高校、211高校本科及以上学历优先。专业领域包括但不限于大数据、计算机、统计学、信息工程或与数字化相关的专业。
2.工作年限5年(含)以上,具备数字化企业、能源行业或国有企业等相关企业3年以上工作经历,有能源行业大数据平台开发或运维项目经验者优先。
对于特别优秀或公司紧缺的特殊人才,上述基本条件可适当放宽
二、专业技能要求:
1.3-5年及以上大数据平台(Hadoop生态圈)、数据仓库平台(Hive/GP/ClickHouse等)部署和运维经验。熟悉Prometheus+Grafana 监控运维工具,能结合数据库日志、组件节点日志实现故障根因下钻至SQL级别。
2.熟练掌握主流 MPP 数据库(Greenplum、ClickHouse、Vertica 等)运维,包括集群部署、参数/存储引擎调优、资源队列配置。
3.熟悉DataX/Sqoop/Flume等数据采集工具、能基于日志排查同步延迟 / 丢数问题。
4.有一定Java开发基础,熟悉Spring Boot、Spring Cloud、Mybatis等开源框架,熟悉RestfulAPI,WebService等常见服务问题诊断。
5.对高并发、高性能的分布式系统应用的设计和调优有一定基础:如缓存技术、负载均衡、系统性能调优等技术
6.熟练掌握Linux/Ubuntu命令,如系统调优、性能分析工具 (top/iostat/netstat),熟悉Docker、Kubernetes部署与操作。
7.良好的问题分析和学习能力,有运维方案、故障预案和运维报告编写能力。
8.熟悉远景EnOS平台优先、用友大数据平台优先。
9.精通数据仓库理论与建模: 深刻理解维度建模(Kimball/Inmon)理论,具备丰富的分层模型设计经验。负责数据仓库各层(如ODS, DWD, DWS, ADS, DM)的数据模型设计、开发与优化,构建清晰、稳定、易于理解的数据体系。
10.熟悉离线、实时、流批一体数据处理流程,有实际开发经验。
11.精通SQL,熟悉窗口函数、性能调优等高级技巧。编写高质量、可维护的数据ETL/ELT脚本,有参与核心数据的开发工作经验。
12.熟悉大数据技术: 熟练掌握Hive、Spark、Flink、Kafka、OLAP数据库等至少两种主流大数据组件,并了解其原理。
13.编程语言: 熟练掌握Shell、Python、Scala等脚本或编程语言中的一种或多种。
14.工具与流程: 熟悉ETL和调度工具,如DataX、kettel
三、其他要求:
1.具备较强责任心,能接受7*24小时接听电话;
2.可参与集团现场值班工作;
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕