职位详情
大数据开发工程师
1-2万
山东华鲁生涯规划管理研究院
上海
不限
本科
10-13
工作地址

上海浦东软件园(祖冲之园)

职位描述

岗位职责:

1、协助数据抽取与加载:用 Sqoop、DataX 等工具,从业务库抽取数据到大数据平台(HDFS/Hive);

2、编写数据处理脚本:用 SQL/Hive、Shell 写基础脚本,完成数据清洗、转换(如格式统一、字段计算);

3、协助数仓搭建:配合团队完成简单数仓模块(如维度表 / 事实表)开发,遵循星型 / 雪花模型;

4、监控任务与排错:检查数据处理任务运行状态,协助排查脚本错误、数据缺失等基础问题;

5、整理技术文档:记录开发流程、数据规则,协助完善项目文档。

任职要求:

1、学历:本科及以上学历;

2、专业:计算机相关专业优先,

3、技能:熟练 SQL/Hive,懂 Hadoop 生态基础(HDFS、MapReduce),会 1 种 ETL 工具(Sqoop/Kettle)。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

为您推荐更多相似职位
立即申请