负责数据仓库建设:参与数据仓库的模型设计(维度建模/范式建模),数仓分层(ODS/DWD/DWS/ADS)的规划与落地,基础库、主题库及专题库的开发与维护。
负责ETL流程开发与优化:基于离线计算引擎,编写和优化复杂的数据处理任务,负责数据的抽取、清洗、整合与加工,确保数据的准确性、完整性与一致性。
参与财务领域数仓体系建设:参与财务数据中台建设,落实数据模型、数据质量及数据安全等相关标准,解决财务业务场景下的复杂数据逻辑问题。
负责复杂SQL开发与性能调优:承担业务逻辑的SQL开发工作,针对海量数据(DorisSQL/SparkSQL/HiveSQL)进行查询性能分析与调优,解决数据倾斜等常见技术问题,提升ETL运行效率。
任职要求:
技术栈要求:熟练掌握Doris SQL、Hive SQL 和 Spark SQL中的至少一种,具备海量离线数据处理经验,熟悉数据集开发模式。
数仓理论:理解数据仓库建设方法论,熟练掌握数据仓库分层架构(ODS/DWD/DWS/ADS),维度建模理论,具备良好的模型设计能力。
ETL与SQL能力:精通ETL设计理念,具备复杂SQL编写能力,能够独立完成复杂数据清洗、逻辑转换作业;有实际的数据倾斜处理、SQL调优经验者优先。
大数据组件:熟悉Doris、Hadoop生态体系,了解Hive、Spark、HDFS等组件的原理及配置,具备排查ETL流程中技术问题的能力。
业务理解:有财务、账务、税务等相关领域数仓建设经验者优先;能够快速理解财务业务逻辑,将业务需求转化为数据模型。
素质要求:具备良好的沟通协作能力和跨部门协作意识,对数据敏感,工作严谨,责任心强。