职位描述
1、ETL开发:多源异构数据(如业务数据库、日志)的抽取、转换、加载与清洗;
2、数据建模与治理:参与数据仓库分层建模(ODS/DWD/DWS/ADS),按照数据
标准,推动元数据管理、数据血缘、数据质量监控建设;
3、性能优化:对数据任务进行性能调优,包括SQL优化、资源调度、分区策略等
任职要求:
1、本科及以上学历,计算机相关专业优先,5年数据开发相关工作经验
2、熟悉常用Linux命令以及shell脚本开发
3、精通SQL,熟练使用Oracle、Hive等数据库,熟悉数仓模型设计,具备良好的数据建模能力
4、熟悉常用调度工具,如:Azkaban、Azkaban、Control-M等,熟悉其中之一即可。
5、了解熟悉至少一种编程语言(如:Java、Scala、Python)
6、了解大数据平台架构体系,Hadoop/Hive/Kafka/SparkStream/Flink,了解实时数据开发
加分项:
1、有银行系统项目经验优先
2、有flink经验优先
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕