岗位职责:

1. 负责大数据平台的日常运维工作，保障集群（如Hadoop、Spark、HBase等）的高可用性和稳定性；

2. 监控并优化大数据系统的性能，及时处理故障报警，定位并解决系统问题；

3. 负责数据迁移、数据备份与恢复策略的制定与实施，确保数据安全与合规；

4. 参与大数据平台的容量规划、架构优化及自动化运维工具的开发与维护；

5. 协助开发团队进行数据环境搭建、性能调优及技术支持；

6. 跟踪大数据领域新技术，推动技术落地与团队技术能力提升。

要求：

1、熟悉hadoop生态组件：hive、spark、flink、hbase、hdfs、yarn

2、熟悉Linux、shell、K8S

3、熟悉java、python

4、熟悉mysql、PostgreSQL、SQL Server

5、熟悉Elasticsearch、Redis