基础研发平台是美团的核心技术平台,立足于“零售+科技”的战略定位,通过打造人工智能、大数据、云计算、安全等核心技术能力,以及研发效能平台、企业应用平台等公共服务,为业务提供稳定安全、扩展易用、技术领先的平台技术和产品服务。
在这里,我们会参与到最前沿的技术研发和探索;能够接触超规模集群、海量数据,挑战高复杂业务场景,有机会与业界一流的工程师一起并肩前行。
在这里,我们有超强的技术氛围,持续向社区贡献业界实践,加速行业技术发展;我们有完善的互联网学习生态圈,重视底层逻辑和方法论,助力职业生涯的非线性成长。
真诚地邀请你,和我们一起驱动技术发展,创造行业价值。
岗位职责
为数仓和机器学习平台提供高可用、高可靠、超大规模的HDFS文件存储和Hive MetaStore元数据存储服务,解决海量文件带来的元数据瓶颈和成本问题,同时提供行业一流的可靠性可用性指标,实现数据跨机房容灾,实现数据分层流转,尽可能降低业务的容量管理成本
岗位基本需求
1.熟悉 Spark、Presto、Hive、HBase 等主流大数据系统中一种或者几种的原理;
2.精通C/C++或Java,精通网络编程,多线程、高并发编程;
3.理解大型分布式存储系统工作原理,掌握生产环境中各种架构的元数据、数据的可用性、性能的分析方法
具备以下者优先
熟悉常见分布式存储产品及其在大数据场景应用,包括包括但不限于HDFS、HBase、Ceph、CubeFS、JuiceFS、Lustre、Swift等优先;
熟悉开源数据湖产品,诸如Apache Hudi, Apache Iceberg等优先
熟悉分布式数据库开发经验者,如FoundationDB,TiDB,CockroachDB等优先
岗位亮点
1.超大节点规模和EB级数据规模,服务覆盖美团等多种领域业务,从数据规模、集群体量、业务复杂度多个维度提供了技术挑战和锻炼发展的机会;
2.在数仓和机器学习等多种场景下,挑战性能极限;
3.参与改变数据管理方式,在超大容量规模基础上实施落地分层数据管理;