工作职责:
1、数据仓库规划与实施:参与公司数据仓库的规划与实施,确保数据准确、及时地支持业务决策;
2、全量 & 增量数据接入:负责集团全链路系统数据的全量/增量接入,具备保障日均 1000+ 任务成功率 ≥ 99% 的实战经验;
3、平台稳定性与性能治理:数据平台性能与作业监控,具备把单表 千万行 T+1 离线同步时长优化的实战经验;
4、自动化脚本:通过脚本或工具把重复动作(建表、映射、调度、校验、血缘)变成一键完成;
5、数据质量前置技术调研与实施:持续关注大数据领域的前沿技术,与团队共同调研并实践如数据湖、Flinkcdc、实时数仓等热门技术,保持公司的技术领先地位;
任职要求:
1、技术能力:精通Linux操作系统,熟练掌握至少一种主流编程语言(如Shell + Python/Java);
2、项目经验:具有5年以上数据仓库、ETL、大数据开发等相关项目经验,主导过 5 个以上业务系统对接;
3、技术栈:深入了解大数据处理技术栈,如Hadoop、Spark、Hive等,并能熟练掌握DataX、DolphinScheduler、Flink、Doris、Clickhouse等工具;
4、数据建模能力:具备扎实的数据建模基础,能够将复杂业务需求拆解为可执行的数据建模任务,并根据业务逻辑进行数据分层设计;
5、行业经验:对零售、供应链、财务等业务场景有理解,能把业务问题翻译成数据语言。
6、本科学历及以上。