8000-15000元
智创城B座智创城B座1713人力资源部
岗位职责:
1.数据仓库建设:拥有丰富的数据湖仓一体化建设经验,包括基于dinky(FlinkSQL开发)、dolphinscheduler(任务调度)、flink(流处理)、doris(存储)、hudi/iceberg/paimon(湖仓格式)、minio(对象存储)和mysql的业务数据建模、ETL开发和设计,支持离线+实时医疗数据处理。
2.核心业务设计与开发:负责医疗大数据项目的核心业务设计和开发,确保系统高可用性和高性能,推动医疗健康数据解决方案落地。
3.技术预研:参与大数据技术预研,探索dinky、flink等工具的创新应用,助力业务成长和技术演进。
4.数据采集与同步:利用dinky开发flinksql代码消费Kafka用户日志数据,写入doris、hudi、iceberg或paimon的ODS层;使用dolphinscheduler配置任务同步mysql业务数据到doris ODS层,优化数据清洗流程。
5.数据仓库架构设计:遵循ODS → DWD/DIM → DWS → ADS四级分层架构,在doris、hudi、iceberg、paimon中实现离线+实时湖仓一体化数据流转,保障整体性能和稳定性。
6.数据可视化:利用大屏工具制作和展示ADS/DWS层报表,直观呈现医疗数据洞察。
任职资格:
1.学历要求:本科及以上学历,计算机、软件、数学等相关专业背景,具备3年以上大数据开发经验。
2.编程技能:熟悉Java,掌握Linux系统命令、Shell编程,具备较强独立开发能力和良好代码风格。
3.大数据技术经验:精通dinky、dolphinscheduler、flink、doris、hudi/iceberg/paimon、minio、mysql等技术栈,具有开发、设计和调优经验,深刻理解医疗湖仓一体化架构。
4.流处理技术:熟悉flink原理及底层技术,能解决离线+实时场景下的数据处理问题。
5.ETL与数据建模:熟悉数据仓库ETL开发和建模,具备大型医疗湖仓一体化架构设计、模型优化和性能调优经验。
6.其他要求:能够独立工作,对医疗健康业务有深入理解,主动推进数据技能提升和问题解决。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕