职位详情
数据平台架构师(湖仓一体/AI赋能)
2-3.5万
上海宽文是风软件有限公司
北京
5-10年
本科
01-22
工作地址

空中客车集团中国总部大楼

职位描述
核心职责
  • 架构设计与技术战略: 主导在AWS/Azure上的云原生数据平台整体架构设计,确保其高可用、可扩展与成本优化;制定平台技术演进路线图与治理规范。

  • 湖屋平台构建: 基于云原生服务与开放表格式,设计与实施融合数据湖、数据仓库、实时流处理与数据服务能力的统一湖屋平台。

  • AI/ML基础设施集成: 构建支撑机器学习全生命周期的数据基础设施,包括特征平台、模型训练数据流水线、在线特征服务与监控体系,并与MLOps平台深度集成。

  • 数据流水线与平台服务: 设计并管理批流一体的数据摄取、加工与分发流水线;开发数据工具、元数据管理系统及高性能数据API,提供自助化数据服务。

  • 性能、可观测性与治理: 建立全面的平台监控、日志与告警体系,持续优化性能与稳定性;推动数据质量管理、元数据管理与成本治理的自动化。

  • 协作与布道: 与数据工程师、数据科学家及业务部门紧密合作,理解需求并将其转化为平台能力;推广数据平台最佳实践,提升团队整体技术水平。

任职要求(硬性条件)
  1. 背景经验:

    • 5年以上大型数据平台架构设计或核心开发经验,有从0到1搭建或主导重构云上数据平台的完整经历。

    • 精通至少一种主流公有云的数据服务生态。

    • 具备分布式系统、数据建模、数据流水线编排的深厚功底。

  2. 技术栈要求:

    • 湖屋与数据栈: 具有Delta Lake、Apache Iceberg或Hudi等开源项目的实战经验;深刻理解现代数据架构演进。

    • 数据处理: 精通Spark、Flink等至少一种主流计算框架;熟悉实时流处理技术。

    • 工程实践: 熟练掌握DevOps/DataOps理念,有平台自动化、CI/CD落地经验。

  3. AI/ML桥接能力:

    • 具备将数据平台与机器学习工作流集成的实际项目经验,理解特征工程、模型训练与部署对底层数据的需求。

    • 了解特征存储、向量数据库及相关ML基础设施概念。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请