岗位职责:
1、负责数据中台相关组件的开发工作;
2、制定数据治理方案,包括:数据清洗、数据规范、数据挖掘以及数据服务等方案的制定;
3、维护部门级大数据数据规范,包括:数据结构、数据字典、数据取值规范、数据共享规范等。
岗位要求:
1、统招本科及以上学历,计算机相关专业,工作年限5年以上,从事大数据工作3年以上;
2、熟练掌握Python、Java、Scala至少一门编程语言;
3、出色的业务学习能力、对于数据采集、加工、存储、共享等数据架构处理都需要把控,精通各类大数据技术,如Hadoop、HBase、Hive、Kafka、Sqoop、flume、Spark、Sparkstream;掌握流处理技术,有Flink落地经验者优先;
4、熟悉各类数据库、数据仓库产品,包括RDBMS(如Oracle、Sqlserver、Mysql)、No-SQL、时序库等,具备优化Sql的能力;
5、了解DevOps,了解Docker等概念;
6、了解常用的机器学习算法。