大数据集群运维工程师
【职责描述】
1.负责HDP平台相关组件的部署和维护，保证其服务稳定；
2.为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持；
3.负责大数据平台内部所涉及到的各类数据库，数据存储的搭建、备份、日常维护、性能调优；
4.大数据平台系统运维，监控和故障分析处理。
【任职要求】
1.学信网统招本科及以上学历，计算机相关专业，5年以上相关经验；
2.对大数据基础架构和平台有深刻理解，对基于Hadoop的大数据体系有深入认识，具备相关产品（Hadoop、Hive、HBase、Kafka、Sqoop、Spark等）项目应用研发经验，熟悉底层原理和工作流程；
3.熟悉Hadoop及相关组件部署维护，有实际大数据集群运维经验；
4.精通Hadoop生态各类存储格式、原理、压缩，大量小文件的处理策略。
5.集群节点数据均衡、磁盘数据均衡，集群每台服务器的内存大小、CPU核数、硬盘情况的预留、监控与优化。
6.Hadoop参数调优：HDFS、YARN参数调优，MapReduce、Hive、Hbase、Spark等优化。
7.对大商用数据平台tchouse、iceberg等具有丰富的搭建、运维、使用经验；
8.对大数据技术和生态的认知和理解自成体系，具备良好的解决方案归纳能力；
9.集群稳定性运维、扩容缩容，大版本的热升级、有灾备，跨域实施经验。