岗位职责：
1、3年左右大数据项目开发经验，掌握数据开发基本知识。熟悉Java、Scala等编程语言，并能够使用这些语言进行大数据应用的开发。
2、需要对Flink和Spark有深入的理解，包括其架构、原理、组件以及最佳实践。能够熟练使用Flink进行流处理和CDC采集，能解决在开发和生产运行过程中遇到的Flink数据倾斜、内存溢出、状态管理、资源不足、数据一致性EOS及调度问题，拥有Flink性能调优经验，熟练掌握Flink Dashboard监控指标。有过Flink上云K8s调度经验者优先。熟练利用Spark进行批处理任务，有解决Spark生产或开发过程中遇到的数据倾斜、内存溢出、端口冲突、资源问题等经验。熟练掌握Spark Web监控及History Server监控。
3、对Kafka、常见调度框架例如DolphinScheduler等有着熟练使用经验，熟练掌握Kafka监测工具，能解决消费异常等问题。
4、需具备强烈的自我学习意愿和能力，以跟上技术的最新发展。