工作职责
1、 实时数仓搭建及开发
●基于Flink构建秒级实时数仓构建（Kafka→Flink→OLAP）
●开发实时数据处理框架（事务消息处理、窗口聚合优化）
●实现复杂业务逻辑的状态流计算（CEP、状态TTL管理、维表Join优化）
2、flink组件深度调优
●攻克Checkpoint超时/反压/State Backend性能瓶颈
●设计RocksDB状态后端调优方案（增量CKP、压缩策略）
●实施JVM/网络层全链路参数优化（GC策略、堆外内存管控）
3、实时数仓稳定性建设
●构建监控告警体系（延迟追踪、状态数据健康度）
●开发自动化运维工具（Savepoint迁移、作业智能诊断）
●设计跨集群容灾方案（双活集群切换、数据一致性保障）
4、业务工程师技术赋能
●提炼Flink最佳实践（反压SOP、状态序列化规范）
●指导初中级工程师解决生产环境故障
技术能力
1. 5+年大数据开发经验， 3年Flink生产环境深度开发经验；
2.实时数仓从0到1搭建，有百亿级数据实时数仓建设经验；
3. 精通 Scala/ Java 编程语言，具备良好的函数式编程思想。
4.熟悉hadoop生态以下组件：hadoop、spark、zookpeer、kafka
5.熟悉redis、ClickHouse
6. Flink核心组件能力要求 ：
●精通DataStream API开发（Watermark/Window/State深度使用）
●精通Flink SQL性能优化（动态表/Retract机制/UDF开发）
7.具备TB级状态数据运维经验（RocksDB调优/状态迁移）
●解决过Checkpoint超时导致的数据回溯问题
●优化过高峰期作业反压（定位网络栈/线程阻塞问题）
8.有状态计算性能提升50%+的调优案例
●熟练整合Flink CDC实现实时数仓入湖（Hudi/Iceberg）
●开发过Kafka/Pulsar到Flink的高效消费方案架构理解
●深入理解Lambda/Kappa架构优劣及落地场景
●设计过支撑日百亿级数据的流处理架构
9.有传统机器学习经验优先，熟悉lightGBM、Xgboost等传统机器学习