1.教育背景:本科及以上学历,专业领域包括软件工程、自动化、计算机科学、数据分析等与数字化相关的专业。
2.工作经验:至少5年以上在大数据、数据中台相关领域的工作经验,具有能源行业、用友大数据平台相关经验者优先。
3.技能要求:
(1)熟练使用大数据生态组件(HDFS/YARN/MapReduce等),具备Spark/Flink等实时计算开发经验;
(2)熟悉至少一种关系型数据库(MySQL/Oracle)及NoSQL(HBase/Redis)等数据库技术(MPP架构),具备大数据平台/数据仓库/BI的系统落地经验;
(3)精通数据建模及ETL设计开发,对数据仓库、数据平台、数据分析等有深刻理解,具备丰富的海量数据加工处理和优化经验;
1、负责大数据平台设计、开发及优化,包括但不限于Spark、Flink、Kafka、elasticsearch、flume、zookeeper等组件的搭建与调优;
2、负责数据采集、清洗、存储(HDFS/GP/MINIO等)、计算(离线/实时)及全流程开发;
3、设计高性能ETL流程,处理TB/PB级数据,优化数据计算效率与资源利用率;
4、负责数据平台的技术路线规划、设计和实施,确保平台能有效支持业务需求;
5、基于数据平台对平台架构、核心组件进行运行监控、优化指导、性能瓶颈等复杂技术问题提供解决方案及技术落地;
6、参与公司核心业务系统的Java后端开发,使用常见框架构建高并发、分布式服务。
(4)具备多种大数据治理专业领域的知识和项目实战经验,包括元数据管理、数据目录管理、数据标准管理、数据质量管理、数据安全管理等;
(5)熟练使用Java和Python/SQL语言中一种或者多种,扎实的Java基础,深入理解JVM原理、多线程并发、内存管理等。
4.个人素质:
①强烈的责任心和主动性;
②出色的沟通能力和团队合作精神;
③能够理解和分析复杂的业务问题,并提出解决方案。