一、工作概述
参与外服集团外服云公司数据基础平台建设，数据开发，ETL优化，数据采集等工作
二、主要工作职责
1、数据平台建设：参与数据平台建设，推动数据基础设施、数据仓库和数据类应用系统建设，持续建设数据平台各项能力
2、数仓架构设计：参与数据仓库架构设计，理解业务需求并抽象为数据模型；能够独立完成指定业务域或子模块的逻辑建模与物理建模，制定数据分层标准与命名规范。
3、数据开发：负责数据开发工作，参与数据仓库设计与ETL流程开发，完成数据清洗、转换、加载等工作，编写高质量SQL及调度任务，保障数据产出时效性与准确性。
4、数据采集与治理：负责多源异构数据的采集任务开发与维护，保障数据链路稳定性和时效性；参与数据质量监控、血缘管理、元数据维护等数据治理相关工作。
三、职位关键绩效指标
数据平台稳定性，数据开发能力，ETL任务性能，数据采集准确性
四、任职资格
1、大学本科，计算机、软件工程等相关专业优先；
2、3-5年大数据开发工作经验
3、资格证书：大数据相关证书优先、云计算相关证书优先
五、专业技能
1、熟悉大数据生态系统，包括但不限于HDFS、MapReduce、Spark、Hive、Flink等技术，理解组件底层原理以及使用场景
2、熟悉数据仓库基本理论，对数仓分层架构有深入理解，熟悉主流的ETL开发以及调度工具。
3、具备大数据平台开发运维经验，有阿里云Dataworks，CDP等企业级大数据平台使用经验优先
4、精通SQL，具备MaxCompute，Hive、Impala等引擎SQL调优经验优先
5、熟悉Java，熟悉JVM原理与性能调优,具备Spark，Flink，HBase等开发经验优先
6、具备良好的沟通能力和团队合作精神，能够有效地与其他团队成员合作；
7、具备较强的学习能力和解决问题的能力，能够快速适应新的技术和环境。