职位描述
主导大数据上云迁移项目:深入理解业务需求,制定详细的大数据迁移方案,包括但不限于从现有系统到华为云DGC(数据治理中心)、MRS(大数据服务)、CDM(数据集成服务)等产品的迁移计划。
数据校验与优化:运用复杂SQL技能对数据进行一次性及周期性校验,确保数据迁移过程中的完整性与准确性,及时发现并解决问题。
编程与自动化:熟练运用Python或Java等编程语言,开发自动化脚本以简化迁移流程,提高迁移效率。
大数据组件集成与优化:熟悉Doris、Flink、Spark、Kafka等大数据处理与流处理组件,能够针对迁移后的系统进行性能调优和问题诊断,确保系统高效稳定运行。
技术选型与架构设计:基于华为云平台特性,为迁移后的系统提供技术选型和架构设计建议,以支持未来的数据增长与业务扩展。
任职要求:
计算机科学、软件工程或相关专业本科及以上学历。
至少3年以上大数据项目经验,特别是具备云平台大数据迁移项目的成功案例。
精通SQL,能够编写复杂的查询语句进行数据分析与问题定位。
熟悉至少一种编程语言(Python/Java),具备良好的编程习惯与问题解决能力。
对华为云DGC、MRS、CDM等大数据服务有深入了解或实际使用经验。
深入理解大数据生态系统,包括Doris、Flink、Spark、Kafka等组件的原理与应用。
具备良好的团队合作精神,优秀的沟通能力和项目管理能力,能够在快节奏环境中高效工作。
持有相关大数据认证或华为云认证者优先。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕