基础研发平台是美团的核心技术平台,立足于“零售+科技”的战略定位,通过打造人工智能、大数据、云计算、安全等核心技术能力,以及研发效能平台、企业应用平台等公共服务,为业务提供稳定安全、扩展易用、技术领先的平台技术和产品服务。
在这里,我们会参与到最前沿的技术研发和探索;能够接触超规模集群、海量数据,挑战高复杂业务场景,有机会与业界一流的工程师一起并肩前行。
在这里,我们有超强的技术氛围,持续向社区贡献业界实践,加速行业技术发展;我们有完善的互联网学习生态圈,重视底层逻辑和方法论,助力职业生涯的非线性成长。
真诚地邀请你,和我们一起驱动技术发展,创造行业价值。
岗位职责
1. 构建实时/离线数据采集与同步解决方案,支持跨数据库、数据仓库、数据湖的数据交互。优化数据传输性能,解决高并发、大数据量场景下的延迟与容错问题。设计数据一致性保障机制,处理数据冲突、断点续传、幂等性等核心问题,确保端到端数据质量。
2. 持续迭代数据集成解决方案的架构设计,支持容灾、出海等业务场景;优化架构设计,持续降低成本。
3. 研究前沿技术(如CDC、流批一体架构),推动数据同步技术在业务场景中的创新应用。
4. 构建高性能、高可用性数据湖引擎,参与美团数据湖引擎从0到1的落地与业务推广工作,持续提升系统性能和稳定性,降低成本。
5. 驱动数据湖的周边生态建设,包括实时/离线计算引擎,查询引擎,产品开发平台等生态,助力业务基于数据湖的解决方案落地。
岗位基本需求
1. 计算机相关专业本科及以上学历,2年以上数据集成与同步/大数据计算、存储引擎开发或数据湖相关工作经验。
2. 熟悉Java/C++编程语言,能够独立进行系统和工具开发。
3. 熟悉主流的大数据数据集成引擎和数据湖引擎,如Canal、DataX、Spark、Flink、Paimon等。
4. 熟悉分布式系统和大规模数据处理的设计和实现,具备高并发、高性能系统开发经验。
5. 具备良好沟通能力和问题解决能力,能够高效与系统上下游、业务方沟通协作。
具备以下者优先
1. 具备数据集成和同步引擎开发经验者优先,如SLS、Canal、DataX等 。
2. 具备数据湖开发经验者优先,如Hudi、Iceberg、Paimon等 。
3. 具备Flink、Spark、Presto等引擎开发经验者优先 。
4. 具备分布式计算和存储优化经验者优先。
岗位亮点
1. 负责美团数据同步解决方案的建设,推进流批一体在数据同步领域的持续优化。
2. 参与美团数据湖引擎从0到1的落地。
3. 能够接触到丰富的业务场景,包括但不限于数据开发、机器学习等,助力业务数据集成与数据湖解决方案的落地。
4. 提供良好的职业发展空间,参与解决复杂的技术问题,不断学习和成长。