招聘职位:高级数据仓库开发工程师
我们正在寻找一位经验丰富、稳定的数据仓库工程师,专注于财产险业务领域。负责构建和维护公司核心的、基于关系型数据库的数据仓库平台。该平台不涉及大数据生态,核心是基于Gbase/Postgresql数据库的分层建模与ETL流程开发。
岗位职责:
1.数据仓库开发与维护:负责财产险数据仓库的日常开发、维护与优化,确保数据的准确性、完整性和及时性。
2.ETL流程设计:使用Python/Shell脚本,设计和开发从业务数仓到Gbase/Postgresql的增量及全量数据同步与落地流程。
3.数据分层加工:按照ODS、DWD、DWS、ADS等传统数据分层理论,按照业务口径进行数据清洗、转换、整合和汇总加工。
4.脚本与存储过程开发:编写和优化Shell调度脚本、Python数据处理脚本以及数据库存储过程,完成复杂的数据加工逻辑。
5.数据流转操作:负责数据的卸数、装载、传输等具体操作,并确保整个流程的高效与稳定。
6.性能优化:对数据库SQL、存储过程及ETL任务进行监控与性能调优,解决生产环境中出现的数据问题。
7.技术文档编写:撰写详细的技术设计、流程说明及运维文档。
任职要求:
学历与经验:计算机相关专业本科及以上学历,学信网可查,具备5年及以上关系型数据仓库(非大数据平台)开发经验。有财产险、车险等金融保险行业经验者优先。
核心技术:
1.精通SQL,具备出色的SQL编写和优化能力,熟悉存储过程、函数、触发器的开发。
2.熟练掌握Python/Shell语言,有使用Python进行数据库连接和ETL脚本开发的实际项目经验。
3.熟练编写Shell脚本,具备使用Shell进行任务调度和流程控制的能力。
4.熟练使用数据库工具或第三方工具进行数据迁移,包括业务脚本迁移。
数据库知识:
1.深刻理解传统数据仓库的分层建模理论(如Inmon或Kimball模型)。
2.具备Gbase, Teradata, Greenplum, Oracle, DB2 等至少一种主流关系型MPP或企业级数据库的开发和管理经验。
3.对数据库的卸数、装载等批量数据处理操作有深入理解。
优先:
1.了解财产险核心业务(如承保、理赔、再保等)及相关数据模型。
2.具备良好的责任心、团队协作精神和沟通能力,能够承担工作压力,对数据质量有高标准要求。
3.对框架重构/执行效率有优化经验。
4.熟悉不同数据库的语法、特性。