工作职责:
1. 负责大数据平台的数据开发工作,支持海量业务数据流批同步;
2. 能独立完成海量数据的获取,清洗,分类,聚合等数据处理工作,为应用组提供数据支撑;
3. 从事大数据存储,实时和离线计算,数据研判工作,建设数据标签体系,分析业务数据价值并能达到实时预警。
任职资格:
1. 熟练掌握 java python shell sql dsl ;
2. 熟悉开源体系 hadoop spark flink cdc / cep postgresql各类插件;
熟悉 xxl-job dolphinscheduler 等调度平台以及原生quartz 原生调度框架;
熟悉开源ETL 工具、 logstash、 flinkCDC ;
3. 掌握 mysql oracle ,精通 postgresql mongdb es doris 等开源数据库和mpp型数据库,信创数据库方面精通tidb、oceanBase,有湖仓实战经验,掌握pamion、iceberg存储,并具备调优经验;
4.有大数据思想,对象存储,数据分级分类经验者优先, 要求思路要清晰 ,性格开朗,有好的心态。有医疗大数据从业背景的优先。