岗位职责:1、负责利用公司自研平台进行数据治理交付、数据分析、服务开发和维护工作;
2、在数据治理过程中收集新需求,反馈给产品解决;
3、负责平台与大数据组件对接调试工作;
4、主导项目数据治理交付工作,参与数据治理架构设计;
5、在平台框架内进行数据治理UDF函数开发;
6、负责与其他部门之间数据对接工作;
7、完成领导交办的其他任务;
岗位要求:
1、本科学历,计算机相关专业,3年以内数据开发、分析相关经验,具备独立开发能力优先;
2、熟悉Java、Python、Shell任何一门语言优先;
3、熟悉使用mysql、posgresql、oracle等关系型数据库,熟悉 SQL 语法和 Linux 系统基本操作;
4、熟悉使用ssm框架,熟悉使用springboot以及springcloud全家桶开发;
5、熟练使用Hadoop、Spark、Hive、Flink、Hbase、Kafak、ES、Mpp等大数据框架,理解大数据组件底层工作原理,具备部署、调优和数据备份迁移能力;
6、具备利用大数据组件的开源功能进行数据ETL的能力;
7、熟悉流式数据处理框架以及离线数仓架构;
8、熟悉DAMA数据治理理论;
9、了解华为云、腾讯云、阿里云大数据组件的使用优先;
10、具备良好的业务理解能力,对数据敏感,有较强逻辑分析能力;
11、有极强的自我驱动力、较强的提炼能力/组织能力/沟通能力与情绪管理能力,具备强烈的责任心与良好的沟通能力和团队合作精神。