【岗位职责】
1、负责大数据平台（Hadoop/Spark/Flink等）的日常部署、监控、调优及故障处理
2、开发运维自动化脚本（Shell/Python），实现集群管理、日志分析等自动化运维场景
3、维护ETL数据管道，确保Kafka/Hive/HBase等组件的高可用性
4、设计并实施大数据集群性能监控方案（Prometheus/Zabbix/Grafana）
5、参与数据平台安全体系建设和灾备方案设计
【任职要求】
必须项：
1、3年以上大数据运维/开发经验，至少参与过1个完整的大数据平台建设项目，有安全运维经验
2、熟练掌握Shell/Python编程，能独立编写运维自动化脚本（需附GitHub/gitee代码示例）
3、精通Hadoop生态组件（YARN/HDFS/Hive/Spark）的配置调优
4、熟悉Linux操作系统，具备JVM调优及GC问题排查能力
5、有实际SQL优化经验（处理过TB级数据场景）
加分项：
熟悉容器化技术（Docker/K8s）在大数据场景的应用
有云平台（AWS/阿里云）大数据服务运维经验
了解实时计算框架（Flink/Storm）运维监控
持有Cloudera/华为大数据认证
参与过开源大数据项目贡献