【岗位职责】
1、负责数据中台开发和运维工作,包括运维集团统建项目以及各二级单位相关系统的开发和运维服务;
2、具备基于现有源代码开发和管理能力,可以对软件系统深度问题分析和处理、系统漏洞修复和处理、程序配置管理、源代码管控, 具备对公司个性化业务系统的运维和二次开发能力,对现有的系统做调优和按需调整的能力;
3、负责规划和执行数字化过程中的数据管理、数据治理等工作;
4、负责数据中台运维和组件优化,包括但不限于对大数据集群组件、容器化服务、各类中间件、数据库等调优工作;
5、设计和优化高性能ETL流程,处理TB/PB级数据,优化数据计算效率与资源利用率;
6、基于数据平台对平台架构、核心组件进行运行监控、优化指导、性能瓶颈等复杂技术问题提供解决方案及技术落地;
7、负责数据平台的技术路线规划、设计和实施,确保平台能有效支持业务需求。
【任职条件】
1.教育背景:本科及以上学历,专业领域包括软件工程、自动化、计算机科学、数据分析等与数字化相关的专业。
2.工作经验:至少5年以上在大数据、数据中台相关领域的工作经验,具有能源行业、用友大数据平台相关经验者优先。
3.技能要求:
(1)熟练使用大数据生态组件(HDFS/YARN/MapReduce等),具备Spark/Flink等实时计算开发经验;
(2)熟悉关系型数据库(MySQL/clickhouse/postgresql)及NoSQL(HBase/Redis/mongodb)等数据库技术(MPP架构),以上至少精通几项,并且具备大数据平台/数据仓库/BI的系统落地经验;
(3)精通数据建模及ETL设计开发,对数据仓库、数据平台、数据分析等有深刻理解,具备丰富的海量数据加工处理和优化经验;
(4)具备多种大数据治理专业领域的知识和项目实战经验,包括元数据管理、数据目录管理、数据标准管理、数据质量管理、数据安全管理等;
(5)熟练使用Java和Python、nodeJs语言中一种或者多种,扎实的Java基础,深入理解JVM原理、多线程并发、内存管理等。
(6) 微服务物联网PaaS服务:具备主流开源云原生微服务运维工程师能力;
容器化DevOps、分布式对象存储:具备Kubernetes运维专家管理员能力;DevOps专家工程师能力;Ceph存储管理能力。
(7) 熟悉kafka,zookeeper,nginx,ElaticSearch等各类中间件,具备较强的运维能力;
4.个人素质:
①强烈的责任心和主动性;
②出色的沟通能力和团队合作精神;
③能够理解和分析复杂的业务问题,并提出解决方案。