工作职责:
1、负责公司大数据基础平台的运维、规划、部署、管理、扩容和优化等,保障服务的稳定性和可用性,发现并解决性能瓶颈等;
2、负责公司大数据/Hadoop/Hive/Oozie/spark等大数据组件服务稳定性保障;
3、参与数据平台的相关工具开发包括自动化部署、监控、ETL等;
4、负责大数据平台的用户管理、权限分配、资源分配;
5、跟进大数据技术研究的大方向,做新技术预研工作;
6、开发大数据自动化运维、监控、故障处理工具,推动程序架构与部署优化,优化和控制运营成本。
任职资格:
1、本科以上学历,计算机相关专业,3年以上同类工作经验;
2、熟悉Python/Shell等至少一种脚本语言,能够编写脚本进行自动化处理;
3、运维过CDH/Ambari等大数据集群,能快速定位并解决问题;
4、对大数据相关开源组件(Hadoop/Hive/Spark/Impala/Flink/ES等)有深入理解和建设,能够进行性能调优;
5、能够利用各种开源监控工具,如Prometheus+Grafana、Zabbix、Nagios等,至少熟悉两种以上。