岗位职责：
1. 平台开发与部署：
• 设计、开发和维护基于Hadoop生态系统的大数据平台（如HDFS、YARN、Hive、Spark、HBase等）。
• 开发和优化数据管道（Data Pipeline），支持数据采集、存储、处理和分析。
• 编写和维护自动化脚本（如Shell、Python）以简化部署和管理流程。
2. 平台运维与监控：
• 负责Hadoop集群的日常运维，包括安装、配置、升级和故障排除。
• 监控集群性能，优化资源利用率，确保系统高可用性和稳定性。
• 使用监控工具（如Ganglia、Nagios、Prometheus等）实时监控集群状态，及时发现并解决问题。
3. 性能优化：
• 分析和优化Hadoop集群的性能，解决数据倾斜、资源争用等问题。
• 优化MapReduce、Spark等计算框架的任务执行效率。
• 调整HDFS存储策略，优化数据读写性能。
4. 安全管理：
• 配置和管理Hadoop平台的安全机制，包括Kerberos认证、权限控制（ACL）和数据加密。
• 定期进行安全审计，确保平台符合公司安全政策和行业标准。
5. 故障排查与恢复：
• 快速定位和解决Hadoop集群中的故障，包括硬件故障、网络问题和软件异常。
• 制定和实施灾难恢复计划，确保数据安全
任职要求：
1. 教育背景：
• 计算机科学、信息技术、软件工程或相关专业本科及以上学历。
2. 工作经验：
• 4年以上大数据平台开发或运维经验，熟悉Hadoop生态系统及其核心组件（如HDFS、YARN、Hive、Spark、HBase等）。
• 有大规模集群（100+节点）运维经验者优先。
3. 技术技能：
• 熟练掌握Hadoop生态系统的部署、配置和优化。
• 熟悉至少一种编程语言（如Java、Python、Scala）。
• 熟悉Linux操作系统，具备Shell脚本编写能力。
• 熟悉大数据处理框架（如MapReduce、Spark、Flink）。
• 熟悉数据仓库工具（如Hive、Impala）和消息队列（如Kafka）。
• 了解容器化技术（如Docker、Kubernetes）和云计算平台（如AWS、Azure、阿里云）者优先。
4. 软技能：
• 具备良好的问题分析和解决能力。
• 具备较强的沟通能力和团队协作精神。
• 能够在高压环境下工作，具备快速学习和适应新技术的能力。