职位详情
大数据开发工程师
1-1.5万
杭州深麻智能科技有限公司
杭州
1-3年
本科
08-20
工作地址

智力大厦1407

职位描述

工作职责:

1. 基于医疗大数据业务场景,主导大数据平台架构设计与部署,指导实时增量和批增量数据处理,开发和优化大数据处理流程,确保数据高效、准确、稳定地流转,支撑临床科研数据仓库、专病库等模块的数据需求;

2. 参与医疗大数据生产平台的开发与维护,构建高效、可扩展的数据处理工序,优化数据存储(如Doris)和计算(如Spark、Flink)性能,满足PB级数据处理及高并发查询需求;

3. 配合产品、研发及临床团队完成大数据相关需求的开发与交付,确保数据任务按时高质量完成,协助排查和解决数据生产过程中的问题(如实时同步延迟、增量数据接入异常等),提供技术支持与优化建议;

4. 跟踪大数据领域新技术(如湖仓一体架构等),结合医疗业务场景(如电子病历语义检索、科研知识图谱构建)引入合适的工具或框架,提升数据处理效率。

任职资格:

1. 计算机、软件工程、大数据、数学或相关专业本科及以上学历;

2. 熟悉Hadoop、Spark、Flink、Kafka等大数据处理框架,具备实际开发经验,了解FlinkCDC实时同步、DataX批量抽取等工具的应用;

3. 熟悉Hudi、Hive、HBase、ClickHouse、Doris等数据存储与计算引擎,有Doris数据库实际应用经验者优先;

4. 熟悉数据库变更日志相关工具使用,理解Lambda/Kappa架构,具备实时增量(如基于Kafka的流处理)和批增量的开发经验;

5. 熟练掌握Java和Scala,具备良好的编码习惯,熟悉SQL优化,能编写高效的数据处理脚本,支撑数据ETL、数据转换等流程;

6. 了解数据治理、数据质量监控相关技术(如数据血缘、元数据管理),熟悉医疗数据标准化、归一化处理,能熟练使用大模型提效;

7. 具备良好的问题分析与解决能力,能独立排查数据生产中的异常问题(如数据一致性、敏感数据屏蔽失效等);

8. 具备较强的沟通协作能力,能与业务、产品、运维团队高效配合,推动医疗大数据平台功能落地;

9. 有责任心和抗压能力,能适应项目紧急交付需求,有医疗行业的大数据开发经验者优先,熟悉医疗科研数据平台相关模块(如数据挖掘分析软件)者优先。


以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请