职位详情
大数据开发工程师
1.1-1.3万
悠派才选(上海)人力资源有限公司
大连
3-5年
本科
12-23
工作地址

诺德大厦35层

职位描述

岗位职责:

1. 数据建模与设计;运用维度建模/实体关系建模设计数仓逻辑与物理模型,适配业务需求 使用ER/Studio、PowerDesigner工具进行模型可视化设计与优化;

2. 数据开发与ETL流程构建;基于Hive/Spark/Flink开发数据处理程序,优化ETL流程 配置Informatica/Kettle工具,调度Azkaban/Oozie任务,保障数据一致性;

3. SQL编写与优化;编写复杂SQL查询,优化执行计划(索引/分区表/语句重构) 管理数据库对象(表/视图/存储过程),提升数据访问效率;

4. 大数据组件应用与维护;部署维护Hadoop/Hive/Spark/Flink集群,调优参数(HDFS/Spark内存) 监控组件运行状态,协同运维团队解决故障与性能问题;

5. 业务理解与协作。深入理解业务流程,与业务部门协作提供数据解决方案;

6. BI工具协作。适配Tableau/PowerBI数据模型,优化BI工具数据呈现逻辑;

任职资格

1、教育背景与职业/执业资格:计算机相关专业本科及以上学历;

2、工作经验及行业背景:

3年以上大数据开发经验,主导过≥2个复杂ETL项目;

3、能力要求:

- 技术能力 精通Hive/Spark/Flink,熟练使用Informatica/Kettle/Azkaban

- 数据建模 掌握维度建模/实体关系建模方法,熟悉ER/Studio/PowerDesigner工具

- SQL与优化 熟练编写复杂SQL,具备索引优化/执行计划分析能力;

4、人才核心特质要求:

逻辑思维严谨、问题解决能力强、跨部门协作高效。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请