任职要求:
1、本科以上,计算机相关专业;3年以上大数据开发经验,主导过2年以上ETL项目;
2、精通Hive/Spark/Flink,熟练使用Informatica/Kettle/Azkaban - 数据建模 掌握维度建模/实体关系建模方法,熟悉ER/Studio/PowerDesigner工具 - SQL与优化 熟练编写复杂SQL,具备索引优化/执行计划分析能力 人才核心特质要求(除通用标准外);
3、 逻辑思维严谨、问题解决能力强、跨部门协作高效。
工作内容:
1、数据建模与设计 运用维度建模/实体关系建模设计数仓逻辑与物理模型,适配业务需求 使用ER/Studio、PowerDesigner工具进行模型可视化设计与优化;
2、数据开发与ETL流程构建 基于Hive/Spark/Flink开发数据处理程序,优化ETL流程 配置Informatica/Kettle工具,调度Azkaban/Oozie任务,保障数据一致性 ;
3、 SQL编写与优化 编写复杂SQL查询,优化执行计划(索引/分区表/语句重构) 管理数据库对象(表/视图/存储过程),提升数据访问效率;
4、大数据组件应用与维护 部署维护Hadoop/Hive/Spark/Flink集群,调优参数(HDFS/Spark内存) 监控组件运行状态,协同运维团队解决故障与性能问题 ;5、 业务理解与协作。深入理解业务流程,与业务部门协作提供数据解决方案 ;6、 BI工具协作。适配Tableau/PowerBI数据模型,优化BI工具数据呈现逻辑