职位详情
数据应用开发工程师
1.6-2.4万
青岛富凯信息科技有限公司
北京
5-10年
本科
08-06
工作地址

国家电投集团中央研究院-东门

职位描述
1.教育背景:本科及以上学历,专业领域包括软件工程、自动化、计算机科学、数据分析等与数字化相关的专业。

2.工作经验:至少5年以上在大数据、数据中台相关领域的工作经验,具有能源行业、用友大数据平台相关经验者优先。

3.技能要求:

(1)熟练使用大数据生态组件(HDFS/YARN/MapReduce等),具备Spark/Flink等实时计算开发经验;

(2)熟悉至少一种关系型数据库(MySQL/Oracle)及NoSQL(HBase/Redis)等数据库技术(MPP架构),具备大数据平台/数据仓库/BI的系统落地经验;

(3)精通数据建模及ETL设计开发,对数据仓库、数据平台、数据分析等有深刻理解,具备丰富的海量数据加工处理和优化经验;
1、负责大数据平台设计、开发及优化,包括但不限于Spark、Flink、Kafka、elasticsearch、flume、zookeeper等组件的搭建与调优;

2、负责数据采集、清洗、存储(HDFS/GP/MINIO等)、计算(离线/实时)及全流程开发;

3、设计高性能ETL流程,处理TB/PB级数据,优化数据计算效率与资源利用率;

4、负责数据平台的技术路线规划、设计和实施,确保平台能有效支持业务需求;

5、基于数据平台对平台架构、核心组件进行运行监控、优化指导、性能瓶颈等复杂技术问题提供解决方案及技术落地;

6、参与公司核心业务系统的Java后端开发,使用常见框架构建高并发、分布式服务。

(4)具备多种大数据治理专业领域的知识和项目实战经验,包括元数据管理、数据目录管理、数据标准管理、数据质量管理、数据安全管理等;

(5)熟练使用Java和Python/SQL语言中一种或者多种,扎实的Java基础,深入理解JVM原理、多线程并发、内存管理等。

4.个人素质:

①强烈的责任心和主动性;

②出色的沟通能力和团队合作精神;

③能够理解和分析复杂的业务问题,并提出解决方案。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请