岗位职责:
1.负责hadoop、flink、spark等集群及其子系统的维护、资源管理、监控与优化,子系统包括但不限于FLINK、HDFS、HBASE、YARN、SPARK、KAFKA、Doris等。
2.承担数千台规模Hadoop集群的管理工作,解决大规模Hadoop集群在应用与运行过程中的出现各种问题,保证集群的高效稳定运行。
3.使用hive、spark、flink、mapreduce进行数据处理,对相关服务进行调优
4.结合AI能力,构建可以直接应用于AI的数据智能平台,服务于公司内AI产品
任职要求:
1、计算机或数学相关专业、本科及以上学历,985/211优先
2、了解Hadoop、spark、flink任一框架,对社区有源码贡献者优先;
3、精通Java语言、熟悉分布式系统设计、开发
4、对大数据行业相关技术有持续学习的热情,对AI应用有一定的了解,并了解行业最新技术动态,开源社区参与者和贡献者优先;
6、思维敏捷,严谨、有较强的钻研学习能力;较好的沟通能力、团队合作