技术要求：

1、 深入了解Hadoop生态系统，包括HDFS、MapReduce、YARN等组件，并能够在大规模数据处理任务中使用Hadoop。了解工原理，参数调优，性能的优化，运维能力

2、 精通Apache Flink流式处理框架，具有实际项目经验，能够设计和优化Flink作业以实现高性能的实时数据处理。

3、 掌握Kafka的工作原理及项目使用经验。

4、 熟悉MongoDB数据库的基本原理和操作，能够设计和优化MongoDB的数据模型，并编写高效的查询语句。

5、 能够使用prometheus、Grafana等工具进行数据可视化和监控的能力，能够创建仪表盘、报警规则并进行数据分析。

6、 熟练掌握Shell脚本编程，能够编写自动化任务和维护脚本以支持数据处理和简单系统运维工作。

7、 掌握java或Scala编程语言并具有相关项目经验，能够编写高质量的代码以支持数据处理。Java基础要具备中级java开发的能力

8．Redis，熟练掌握Redis的基础数据类型及其相关命令。了解并能够解决Redis缓存穿透、雪崩、击穿等问题。了解Redis的持久化机制（RDB和AOF），并能够根据业务需求进行配置

9.具备一定云原生技术经验(kuberneter)者优先。

10.时序数据库要有了解，项目中使用过优先

11.监控告警运维能力，可视化经验

12.沟通表达能力，需求分析能力，文档编写，