职位详情
数据平台开发工程师
1-1.5万
宁波兴业盛泰集团有限公司
宁波
3-5年
本科
09-14
工作地址

宁波兴业盛泰集团有限公司

职位描述
岗位职责:
一、数据平台设计与开发
1、参与数据中台建设工作,推动离线/实时数据管道开发,完成数据采集、存储、计算及服务接口开发。
2、主导大数据处理系统的核心模块开发,包括离线/实时数仓、数据湖、ETL/ELT流程。
3、负责从多个源系统的数据采集,预处理,数据清洗等工作;
4、负责对接数据挖掘及分析需求,完成模型的开发、部署、测试、监控。
5、负责开发并维护JDBC, API等数据服务接口;
6、负责监控数据采集,存储及处理任务的执行情况,及时解决数据异常
二、数据治理
1、设计并实施数据清洗规则,构建维度模型,优化数仓分层与数据血缘管理,提升数据准确性与一致性。
2、通过SQL/脚本开发实现数据抽取、转换与加载,保障数据资产标准化。
三、系统性能优化
1、监控分布式集群运行状态,解决性能瓶颈,优化资源分配与查询效率。
2、设计数据分区、索引及容灾备份方案,确保平台高可用性与可靠性。
任职要求:
1、教育背景:
本科及以上学历,计算机科学、信息管理等相关专业优先。
2、工作经验:
3年以上数据开发及架构设计经验,有成功落地项目经验为佳。
3、专业技能:
1)熟练掌握 Oracle\SQLServer\Mysql等关系型数据库开发及SQL调优及ETL工具使用,能够高效地进行数据查询、数据抽取和数据处理操作及数据库优化。
2)精通至少一种主流数据分析工具和编程语言,如 Python能够运用这些工具进行数据清洗、分析、建模和可视化工作。
3)熟悉大数据处理框架和技术,如 Hive、KAFKA、NIFI、Apache Spark等;
4)掌握数据仓库建模方法,熟悉ETL流程及OLAP分析技术;
4、能力素质:
1)、工作积极主动,责任心强,抗压能力强,有较强的学习能力,具备良好的团队合作精神、沟通协调能力和工作推进能力。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请