岗位职责
1.架构设计与规划:设计和规划数据中台的整体技术架构,包括数据采集、存储、计算、治理、服务等模块,制定中长期技术演进路线。
2.技术选型与评估:深入理解业务需求,评估和选择适合企业需求的大数据技术栈(如Hadoop、Spark、Flink、Kafka、Hive、DataX、Airflow等),确保技术方案的先进性与稳定性。
3.核心系统设计:主导数据仓库/数据湖分层架构设计、数据建模(维度建模、Data Vault等)、元数据管理、数据血缘、数据质量体系等核心系统的架构设计。
4.平台集成与对接:设计并实现数据中台与各业务系统、外部数据源、数据应用之间的集成方案,支持跨系统、跨网络的数据安全引接与服务输出。
5.数据治理架构:构建数据标准、数据质量、数据安全、主数据管理等治理体系的技术架构,推动数据资产化落地。
6.性能与稳定性保障:优化数据处理性能,设计高并发、低延迟的数据服务架构,确保平台的高可用性与容灾能力。
7.团队指导与协作:指导开发、运维、数据治理团队理解并实施架构方案,组织技术评审,解决关键技术难题。
8.国产化适配:主导或参与数据中台在国产化硬件、操作系统、数据库等信创环境下的适配与优化工作。
9.技术前瞻与创新:跟踪大数据、数据湖、湖仓一体、DataOps、AI融合等前沿技术,推动技术创新与落地。
任职要求
1.计算机、软件工程、信息技术或相关专业本科及以上学历,5年以上大数据平台开发或架构经验,3年以上数据中台项目架构经验。
2.精通主流大数据技术栈(Hadoop生态、Spark、Flink、Kafka等),熟悉数据仓库建模理论与实践。
3.具备百万级企业数据中台或数据平台整体架构设计交付案例,熟悉数据采集、清洗、存储、计算、服务全流程。
4.深入理解数据治理核心领域(元数据、数据质量、数据标准、数据安全)的技术实现方案。
5.熟悉微服务架构、API网关、容器化(Docker/K8s)、云原生技术,具备平台化、服务化设计能力。
6.具备良好的沟通协调能力、系统思维,能够推动团队技术落地。
7.具备较强的技术文档编写能力,能清晰表达复杂技术方案。