岗位职责:
1、基于微服务架构与分布式系统设计理念,构建数据治理平台架构;采用Docker容器化技术实现服务弹性伸缩与 DevOps流程集成;
2、负责设计跨源元数据采集管道与血缘分析引擎,构建规则驱动的自动化监控与RBAC/ABAC权限治理体系、敏感数据脱敏等。
3、负责湖仓平台建设,完成数据入湖和维度模型建设;
4、运用ETL工具(如 Kettle、DataStage)实现与各类内外数据源(Mysql、Doris)的稳定对接;
5、负责业务平台的常态化维护,及时处理各类技术问题。
任职资格:
1、本科及以上学历,计算机相关专业,硕士研究生优先;
2、具备3年及以上软件开发经验,深入理解后端开发、平台运维及数据治理相关工作;
3、熟悉Java微服务开发、Linux部署运维,具备快速掌握新技术及高效解决问题的能力;
4、精通Atlas、OpenMetadata等数据治理开源平台功能逻辑,具备血缘解析与元数据建模实战经验;
5、精通 MySQL、PostgreSQL 等关系型数据库,以及 Doris等MPP分布式分析引擎;
6、精通Hadoop生态体系,熟练运用 Flink 实现流批一体化数据处理;
7、对数据治理技术有持续的热情,具备良好的沟通能力和团队协作精神;
8、具有良好的代码习惯,遵循编码规范、代码可读性强等。