岗位职责：

1.数据仓库建设：拥有丰富的数据仓库建设经验，包括数据建模、ETL开发和设计等。

2.核心业务设计与开发：负责大数据项目的核心业务设计和开发，确保系统的可用性和高性能。

3.技术预研：参与大数据相关技术发展方向的预研，助力业务成长，推动技术创新。

4.数据采集与同步：利用Dinky开发的FlinkSQL代码消费Kafka中的用户日志数据，并将其写入Doris、Paimon、Hudi和Iceberg的ODS层。使用DolphinScheduler配置SeaTunnel任务，同步MySQL中的业务数据到Doris的ODS层。

5.数据仓库架构设计：遵循ODS（操作数据存储）-> DWD（数据仓库明细层）/ DIM（维度数据层）-> DWS（数据服务层）-> ADS（应用数据存储）的四级数据分层架构，确保数据在Doris、Paimon、Hudi和Iceberg中的有效流转。

6.数据可视化：利用大屏可视化工具和报表工具制作和展示ADS层和DWS层的数据报表和数据大屏，直观呈现数据洞察。

任职要求：

1.学历要求：本科及以上学历，计算机、软件、数学等相关专业背景，具备3年以上大数据开发工作经验。

2.编程技能：熟悉Java，掌握Linux系统和命令、Shell编程，具备较强的独立开发能力，良好的代码风格。

3.大数据技术经验：具有基于PostgreSQL、Doris、Paimon、Hudi、Iceberg、Hadoop、HBase、Kafka等大数据技术的开发、设计和调优经验，深刻理解大数据基础架构和平台。

4.流处理技术：熟悉Spark和Flink，深入了解Flink或Spark的原理及底层技术。

5.ETL与数据建模：熟悉数据仓库ETL开发和数据建模，具备大型数据仓库架构设计、模型设计和性能调优等相关经验。