岗位职责
1、负责建设和制定数据治理平台的关键技术能力和标准,其中包括但不限于数据目录和元数据管理、元数据上报与采集、全链路血缘、数仓、数仓建模、数据标准、数据质量、数据安全和数据服务等方面。
2、负责设计和开发用于加工离线数据和实时数据的产品,以满足数仓中各个层级之间的数据加工;
3、负责开源项目的源码二开与设计优化;
4、负责项目重构、编写技术设计文档、分支管理、发版管理、小组成员管理。
任职要求
1、近2年都在一线从事核心开发;
2、熟悉Java 8+,Spring全家桶,微服务架构,分布式原理;
3、熟悉ZooKeeper、Redis、Kafka、RocketMQ、ES等常用中间件;
4、熟悉Mysql等关系型数据库和其原理,熟练编写复杂SQL脚本,一定的SQL调优知识和经验;
5、熟悉常用的设计模式,并能灵活使用;
6、有独立分析和解决问题的能力,沟通能力学习能力强;
加分项:
1、有数仓的开发与运维经验;
2、一定程度的技术管理能力;
3、对著名开源项目,进行过源码二开、性能优化或贡献;
4、掌握大数据组件的基本原理 (HDFS/Flink/Yarn/Spark/Hbase等);
5、有信创环境国产化适配经验;
6、有Doris等MPP数据库使用经验。