1. 集群管理：负责Hadoop集群的安装、配置、维护和优化，确保系统的高可用性和稳定性。
2. 性能调优：监控集群性能，进行必要的调整以提高数据处理效率和资源利用率。
3. 故障排查：快速响应系统故障，定位问题原因，实施有效的解决方案。
4. 安全管理：建立和完善安全机制，保护数据安全，防止未授权访问。
5. 技术选型：根据业务需求选择合适的Hadoop生态组件和技术栈。
6. 项目支持：为业务团队提供技术支持，参与需求分析，协助设计数据处理流程。
7. 文档编写：撰写技术文档，如操作手册、故障排除指南等，以便团队成员共享知识。

岗位要求：

1. 教育背景：计算机科学或相关领域的学士/硕士学位。
2. 经验要求：3年以上的大数据平台运维经验，特别是Hadoop生态系统。
3. 技术技能：深入理解Hadoop架构及其核心组件（如HDFS、YARN等）；熟悉Hadoop生态圈其他工具（如Kerberos、LDAP、Hive、Spark、Flink、Kyuubi、Kafka、HBase、ES等）；掌握Linux操作系统；了解Shell脚本编程；具有Python、Java或Scala等至少一种编程语言的经验。
4. 软技能：良好的沟通能力和团队合作精神；能够独立解决问题；对新技术保持好奇心和学习态度。
5. 加分项：熟悉Ambari Mpack开发，机器规模百台、数据规模PB级以上运维经验。