职位描述
1、根据业务需求,负责需求可行性和开发工作量评估及开发文档编写工作;
2、负责大数据平台相关应用的模型设计和ETL开发工作,如大数据平台(Hive/Spark//Flink等),数据仓库(Oracle/Mysql/starrocks等),数据管理和服务平台(袋鼠云);
3、负责大数据平台相关应用的日常运维、优化工作;
4、配合业务人员进行数据测试及问题处理;
5、完成日常平台系统的监测和分析,保障系统稳定正常的运行;
6、完成领导交办的其他事项;
学历及专业要求:计算机科学与技术、信息管理与信息系统、数据科学与大数据技术等相关专业;
工作经验要求:3年以上数据仓库及ETL开发相关经验,熟悉数据仓库的概念和建模经验丰富。有Hive SQL /Spark SQL/ Flink SQL等大数据处理相关经验优先
工作能力要求:
1. 扎实的数据仓库和模型设计基础知识,并至少掌握一种模型设计工具,精通范式、维度建模等主流模型理论;
2. 精通Mysql、Oracle等数据库,能熟练进行SQL优化,存储过程的开发;
3. 熟悉ETL开发过程和规范,精通Informatica或者Hadoop体系任一一种ETL工具的使用;
4. 熟悉Linux平台,熟练使用Hive SQL、Spark SQL, 掌握Java/Scala/Python其中任一一种编程语言,能够进行相关技术开发;
5. 熟悉Hadoop体系Hive、Spark、HBase、Flink、Kafka、流式计算等技术;
6.学习能力强,喜欢研究新技术,有团队观念,具备独立解决问题的能力;
7.良好的沟通和团队协作能力