职位概述
具备大数据处理经验的Java开发工程师，专注于Flink流处理框架的开发和优化。
能够设计、实现和维护基于Flink的大数据处理管道。
同时熟练掌握Hadoop生态系统、MySQL数据库和Elasticsearch技术栈。
核心技能要求
Flink技术栈
熟练掌握Flink流处理API（DataSet/DataStream）
能够实现复杂事件处理（CEP）和窗口操作
具备Flink作业调优和故障排查经验
熟悉Flink与Kafka的集成开发
Java开发能力
JVM调优经验优先
精通集合框架、多线程编程和IO操作
熟悉设计模式在分布式系统中的应用
具备良好的代码规范和单元测试习惯
Hadoop生态系统
掌握HDFS文件系统操作
熟悉YARN资源管理机制
数据库技术
精通MySQL数据库设计和优化
能够编写复杂SQL查询和存储过程
了解分库分表策略和读写分离方案
搜索技术
熟练使用Elasticsearch进行全文检索
能够设计搜索索引和优化查询性能
掌握相关性评分和排序算法
岗位职责
负责基于Flink的实时数据处理平台开发
设计并实现高吞吐、低延迟的数据处理管道
与数据仓库团队合作构建ETL流程
优化现有数据处理作业的性能和资源利用率
开发数据质量监控和告警机制
加分项
有容器化部署（Docker/K8s）经验
熟悉CI/CD流水线建设
具备监控系统（Prometheus/Grafana）使用经验
有Python开发能力
项目经验要求
至少参与过1个完整的实时流处理项目
具备性能调优和瓶颈定位的实际案例
有复杂数据处理逻辑的实现经验