岗位职责:
1、设计并搭建企业级数据架构,包括数据仓库、数据湖仓一体平台,保障数据的可靠性、高效性和易用性;
2、主导数据集成、实时计算与流处理平台的架构设计,基于 Flink 构建低延迟数据处理流水线。
任职要求:
1、计算机或相关专业本科及以上学历,5年以上大数据开发经验,3年以上大数据架构设计经验;
2、精通数据仓库架构设计与实践,熟悉维度建模、数据分层等理念,具备PB级别海量数据场景实战经验;
3、深入理解数据湖仓一体架构,熟悉 Paimon 或同类数据湖技术,了解其与计算引擎的集成与优化,精通 Flink 实时计算生态,具备流批一体架构设计与性能调优经验,大数据平台调优经验(如算子、内存、磁盘、CPU等)
4、熟悉以下技术栈的至少三项,并具备实际生产环境部署与优化经验:MySQL、TiDB、Apache Doris、Paimon、Kafka、Fluss;
5、具备较强的Java/Scala编程能力,熟悉 Python 进行数据处理或工具开发;
6、具备优秀的逻辑思维、沟通能力和团队协作精神,能主导跨部门技术项目。