职位描述
主要职责:
1、负责大数据搬迁和系统集成。
2、利用华为云数据迁移工具搬迁数据仓库并进行数据核对。
3、处理海量数据,进行实时和批处理分析,支持业务需求。
4、负责Nifi作业的迁移和调测。
5、具备良好的SQL优化能力;能够完成数据比对工作,并且在数据出错时,有能力根据数据济追溯并定位出问题脚本。
任职资格:
1、5年大数据开发经验,熟悉大数据相关技术栈。
2、精通 Hadoop、Spark、Flink、hive等大数据处理框架。能够独立完成fink、spark作业的迁移/开发,能够端到端的进行调测。
3、精通apache nifi开源组件,能够独立完成Nifi作业的迁移和调测
4、熟练掌握 Java、SQL、Scala 或 Python 等语言。
5、具备良好的SQL优化能力,熟悉关系型数据库和NoSQL数据库。
6、具备大数据平台性能优化的经验。
7、优秀的沟通能力和书面表达能力。
8、熟悉某为大数据平台MRS、DataArt studio、Data Lake、Gaussdb(DWS)优先。
9、统招大专以上学历。
10、熟悉某为大数据平台MRS、DataArt studio、Data Lake、Gaussdb(DWS)优先、具备大数据迁移工作经验优先。
11、接受全球出差。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕