职位详情
分布式存储研发工程师
面议
北京三快在线科技有限公司
北京
3-5年
本科
05-02
工作地址

望京科创大厦

职位描述
基础研发平台是美团的核心技术平台,立足于“零售+科技”的战略定位,通过打造人工智能、大数据、云计算、安全等核心技术能力,以及研发效能平台、企业应用平台等公共服务,为业务提供稳定安全、扩展易用、技术领先的平台技术和产品服务。

在这里,我们会参与到最前沿的技术研发和探索;能够接触超规模集群、海量数据,挑战高复杂业务场景,有机会与业界一流的工程师一起并肩前行。

在这里,我们有超强的技术氛围,持续向社区贡献业界实践,加速行业技术发展;我们有完善的互联网学习生态圈,重视底层逻辑和方法论,助力职业生涯的非线性成长。

真诚地邀请你,和我们一起驱动技术发展,创造行业价值。

岗位职责

为数仓和机器学习平台提供高可用、高可靠、超大规模的HDFS文件存储和Hive MetaStore元数据存储服务,解决海量文件带来的元数据瓶颈和成本问题,同时提供行业一流的可靠性可用性指标,实现数据跨机房容灾,实现数据分层流转,尽可能降低业务的容量管理成本

岗位基本需求

1.熟悉 Spark、Presto、Hive、HBase 等主流大数据系统中一种或者几种的原理;

2.精通C/C++或Java,精通网络编程,多线程、高并发编程;

3.理解大型分布式存储系统工作原理,掌握生产环境中各种架构的元数据、数据的可用性、性能的分析方法

具备以下者优先

熟悉常见分布式存储产品及其在大数据场景应用,包括包括但不限于HDFS、HBase、Ceph、CubeFS、JuiceFS、Lustre、Swift等优先;

熟悉开源数据湖产品,诸如Apache Hudi, Apache Iceberg等优先

熟悉分布式数据库开发经验者,如FoundationDB,TiDB,CockroachDB等优先

岗位亮点

1.超大节点规模和EB级数据规模,服务覆盖美团等多种领域业务,从数据规模、集群体量、业务复杂度多个维度提供了技术挑战和锻炼发展的机会;

2.在数仓和机器学习等多种场景下,挑战性能极限;

3.参与改变数据管理方式,在超大容量规模基础上实施落地分层数据管理;

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请