职位描述
岗位职责
1. 负责基于Flink的实时计算任务设计、开发、调试与优化,保障实时数据处理链路的高吞吐、低延迟与稳定性。
2. 参与实时数据采集层建设,对接Kafka等消息队列,完成数据的接入、清洗、转换与分发。
3. 基于YARN集群环境进行Flink任务的部署、资源配置调优,解决任务运行过程中的故障与性能瓶颈。
4. 协同数据仓库、业务研发团队,梳理实时数据需求,输出技术方案并落地实施。
5. 参与实时计算平台的架构迭代,沉淀开发规范与最佳实践,提升团队研发效率。
任职要求
1. 本科及以上学历,计算机、软件工程等相关专业,2年以上Flink实时开发经验。
2. 精通Java开发语言,具备扎实的编程基础,熟悉多线程、集合框架等核心技术。
3. 熟练使用Flink Core API、CEP、Table API/SQL等功能,深入理解Flink的内存管理、状态管理、容错机制与Checkpoint原理。
4. 熟悉Kafka的生产消费机制、分区策略、消息积压处理及性能调优,能独立设计高可靠的消息流转方案。
5. 具备YARN集群环境下Flink任务的部署与运维经验,熟悉资源配置、任务监控与问题排查。
6. 了解Hive、HBase等大数据组件,有实时数仓建设经验者优先。
7. 具备良好的问题分析与解决能力,有较强的责任心和团队协作意识,能够承受一定的工作压力。
加分项
1. 有大规模Flink集群运维或性能调优实战经验。
2. 参与过开源Flink项目贡献,或有相关技术博客、分享案例。
3. 熟悉Flink CDC、流批一体等技术方向。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕