岗位职责:
1、负责公司大数据平台的离线与实时数据处理系统的设计、开发与优化;
2、基于 Flink 构建高吞吐、低延迟的实时计算 pipeline,支撑实时指标计算、事件处理与流式分析;
3、使用 Kafka 构建稳定高效的数据消息中间件体系,保障数据采集与传输的可靠性;
4、利用 SelectDB 或 Apache Doris 构建高性能分析型数据仓库,支持多维分析、即席查询与可视化报表;
5、数据分析,后台业务系统开发。
任职要求:
1、计算机、数学、统计学或相关专业本科及以上学历
2、3年以上大数据开发和数据分析经验;3年Spingboot boot开发经验
3、精通 Apache Flink流式计算, 精通 Kafka,SelectDB 或 Apache Doris应用开发 ,具备生产环境部署与调优经验;
4、熟悉数据仓库建设方法论,熟悉 Hive、Spark 等离线计算框架,具备从0到1搭建数仓模型的实际项目经验;
5、熟悉数据湖技术(如 Iceberg、Hudi)。