职位描述
岗位职责
(一)数据仓库架构设计与模型开发
参与大数据仓库整体架构规划,结合业务场景设计合理的数仓模型,输出数据模型设计文档;
负责核心主题域的数据模型开发与优化,确保数据逻辑清晰、一致性高、易用性强;
配合数据分析师/业务方梳理数据需求,将业务问题转化为数据模型设计,平衡查询性能与存储成本。
(二)ETL开发与数据管道搭建
基于Hadoop/Spark/Flink等大数据组件,开发离线(Batch)与实时(Near Real-Time)数据同步、清洗、转换任务;
负责数据抽取、清洗、加载全流程ETL开发;
搭建数据调度与监控体系,保障任务按时执行、失败自动告警与重试,确保数据产出时效性。
(三)数据治理与质量保障
参与数据标准制定,推动数据资产目录建设,提升数据可发现性与复用率;
监控数据质量,设计数据校验规则,输出数据质量报告并推动问题修复;
协助完成历史数据归档、冷数据存储优化,降低存储成本。
(四)技术优化与协作支持
持续优化数仓性能,提升查询效率;
与数据开发团队、BI团队、业务部门紧密协作,理解业务场景并提供数据解决方案;
跟进大数据技术趋势,探索新技术在业务场景的落地应用。
任职要求
本科及以上学历,计算机、软件工程、统计学、数学、信息管理等相关专业优先;
经验不限(应届生需有数据开发相关课程项目/实习经历)。
熟悉大数据基础技术栈;
掌握至少一种脚本语言:熟练使用SQL、Shell/Python;
学习能力与责任心:对大数据技术有热情,能快速学习新技术文档,对数据准确性、任务稳定性有强责任心。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕