工作职责
1、负责相关数据平台的开发工作(包括但不限于调研、标准设计、数据仓库设计、数据集成和数据加工开发、数据质量管理及优化、数据报表及可视化开发、数据资产管理、数据平台管理、相关文档编写,以及平台和数据相关的技术咨询等)。
2、对低级别工作人员的工作进行指导,并对工作完成质量进行监督。
3、参与对接业务需求,负责日常需求开发
任职资格
1、熟悉基本的Linux使用和操作,具有脚本开发经验(shell、python、perl等)
2、熟练主流关系型数据库(如mysql、postgresql、sql server、db2、oracle等)
3、熟悉数据仓库分层设计及维度建模理论,3年以上数据类项目建设经验,有至少一个完整项目的实施经验
4、熟悉ETL及数据集成开发,并至少有一种开发数据集成、开发工具(如Kettle、Talend、Datastage、Informatic、DataWorks、Dataphin等)的项目使用经验,如果是基于大数据的数据集成或开发工具(如DataWorks、Dataphin等)将优先考虑
5、熟悉常见的大数据或NoSql存储(如Greenplum、Teradata、TiDB、Hive、HBase、Clickhouse、Druid、ElasticSearch等),并至少有其中一种的项目使用经验
6、熟悉常见的大数据计算工具开发方式(如MR、Spark、Flink),并至少有其中一种的实际项目开发经验,较好的性能调优
7、沟通顺畅,具备较强的业务沟通、需求分析和文档编写能力,有团队意识,有责任感;
8、具备较强的自我学习能力、有较强分析问题的能力。
9、会阿里云dataworks,hive,DB2迁移hive(卡迁移hive,迁移阿里云卡dataworks)