一、岗位职责:
(1)设计并构建基于开源技术的大数据平台整体架构,融合湖仓一体化理念,实现数据的高效存储与管理,确保平台具备高可用性、可扩展性和高性能;
(2)主导大数据平台技术规划、技术选型、架构设计、技术演进并保障系统稳定以及时效要求;
(3)主导数据平台的独立研发工作,负责系统架构设计、技术选型和开发指导,实现数据资产的统一管理、数据服务的高效提供以及数据治理的有效实施;
(4)负责大数据平台的性能优化和监控,及时发现并解决系统性能瓶颈和故障,保障平台稳定运行;
(5)与数据团队、算法团队、治理团队、业务部门紧密合作,提供技术指导和支持,确保大数据平台与业务需求紧密结合,推动项目的顺利实施;
二、任职要求:
(1)本科以上学历,数学、统计、计算机相关专业优先,5年或以上数据平台开发相关工作经验;
(2)具备大数据平台架构设计能力,深入了解大数据生态相关组件,熟悉Hadoop、Flink、Spark、Doris/Starrocks等技术,有大数据架构搭建相关经验者优先;
(3)具备离线与实时数据仓库设计和开发经验,熟练掌握 ETL/ELT 工具和技术;
(4)了解 AI 算法,熟悉数据治理、元数据管理、数据质量、主数据管理技术技术,能够为 AI 应用提供数据支持;
(5)具备良好的系统分析和设计能力,能够解决复杂的技术问题;具备优秀的团队协作和沟通能力,能够有效推动跨部门合作;具备较强的学习能力和创新意识,关注大数据技术发展趋势,不断探索新技术在公司业务中的应用;