岗位职责:
1.负责大数据相关项目的数据流设计与开发、业务需求分析和数据挖掘建模等,构建业务数据分析体系,协助业务确定各项业务数据指标;
2.运用Hadoop、Spark等工具完成海量数据清洗、分析与深度挖掘,揭示业务规律与发展趋势;
3.参与公司大数据平台数据仓库建设,任务调度,监控预警,持续完善大数据平台,保证稳定性与安全性;
4.参与公司数据中台规划,制定并完善开发规范、标准和流程;
5.深入业务,理解业务运作逻辑,按照业务部门需求或者数据分析需要,开发各类主题报表,并进行可视化展示;
6.应用先进的统计建模、数据挖掘、机器学习等方法建立数据模型进行场景预测、分析;
7.持续探索前沿数据分析工具与技术,优化数据平台功能与分析方法,提升团队技术效能;
8.建立跨部门协作机制,精准传递数据洞察结果与策略建议,赋能业务增长与创新。
岗位任职要求:
1.本科及以上学历。具备7年以上大型数据仓库/大数据/BI/数据分析的整体实施经验,实际参与过大型数据分析类项目的需求、开发、维护等各项工作;
2.精通 Java/Scala/Python 等编程语言,熟悉 Linux 操作系统;
3.熟练掌握SQL编程和优化经验,熟悉关系型数据库如Oracle, Mysql等;
4.熟悉至少一种实时计算引擎如SparkStreaming, Flink, Storm等;
5.深入理解HDFS、YARN、MapReduce、Hive、Spark、HBase、Trino 等组件的原理和应用;
6.了解基本的数据加工、计算、分析、数据管理方法与流程;
7.熟悉ETL、报表、调度等多种产品机制,对BI报表开发和可视化展现有充分的理解。有BI分析工具使用经验者优先;
8.有财务领域大数据平台咨询经验,熟悉财务风险管理、信用评估等模型,熟悉财务数据分析工具者优先;
9.有航运业相关背景或财务相关项目背景者优先。