职位详情
Data Lake规划与技术架构设计专家
2.5-5万
大连八比特科技有限公司
上海
3-5年
本科
10-30
工作地址

东软软件园

职位描述
日语可作为工作语言
工作职责:
(1)数据库战略规划
深入理解车厂OEM的车场业务战略,包括车辆生产、物流、销售、售后服务等环节中与车场相关的数据需求,如车辆出入厂物流车场、4S店及经销商车场运营等,结合汽车行业数字化转型趋势,制定车厂OEM车场Data Lake的长期发展规划,确保数据湖建设与车厂整体业务战略紧密契合,为车厂的车场数字化运营提供坚实的数据基础。
评估不同数据湖架构方案在车厂OEM车场场景下的适用性,综合考虑成本、性能、可扩展性、与车厂现有IT架构的兼容性等因素,选择最优方案,并制定详细的实施路线图,明确各阶段的关键里程碑和交付物,确保数据湖建设有序推进。
(2)技术架构设计
负责车厂OEM车场Data Lake的整体技术架构设计,涵盖数据存储、数据处理、数据治理、数据安全等关键领域。设计高可用、高可扩展的数据存储架构,满足车厂车场海量数据(如车辆生产下线后的停放记录、物流运输车场的车辆调度数据、4S店车场的客户车辆维修保养数据等)的存储需求,支持结构化、半结构化和非结构化数据的统一存储。
构建高效的数据处理框架,包括数据采集、清洗、转换、加载(ETL)流程,实现车厂车场数据的实时和批量处理,确保数据的时效性和准确性。例如,设计实时数据采集方案,能够快速获取车辆在车场内的位置信息、车辆状态数据等,并进行初步处理后存储到数据湖中,为车场运营管理提供实时数据支持。
制定完善的数据治理策略,建立数据质量评估指标体系,对车厂车场数据进行质量监控和优化,确保数据的完整性、一致性和准确性。同时,规划数据安全管理架构,保障车厂车场数据的保密性、完整性和可用性,符合汽车行业的相关法律法规和行业标准,如防止车辆生产信息、客户车辆信息等敏感数据泄露等安全问题。
任职资格:
(1)工作经验
至少5年以上大数据相关工作经验,其中3年以上专注于数据湖或数据仓库的规划和架构设计工作。有汽车制造行业或汽车服务行业相关项目经验者优先,熟悉车厂OEM的车场业务流程和数据特点,能够快速理解车厂车场业务需求并转化为数据湖的技术解决方案。
具备大型分布式系统架构设计经验,成功主导过至少一个中大型数据湖项目的实施,从项目规划、架构设计到上线运营的全过程,具备丰富的项目管理经验,能够合理分配资源、把控项目进度和质量,确保项目按时交付并达到预期目标。
(2)技术能力
精通数据湖架构设计,熟悉Hadoop、Spark、Flink、Hudi、Delta Lake等主流大数据技术和框架,能够根据车厂OEM车场业务需求灵活选择和组合技术组件,构建高效、稳定的数据湖架构。例如,熟练掌握Hadoop生态系统中的HDFS、HBase、Hive等组件的原理和应用,能够设计基于Hadoop的数据湖存储架构,实现海量车场数据的分布式存储和高效查询。
熟悉数据存储技术,包括关系型数据库(如MySQL、Oracle等)和非关系型数据库(如MongoDB、Cassandra等),了解不同存储技术的特点和适用场景,能够合理规划车厂OEM车场Data Lake的存储架构,实现结构化、半结构化和非结构化数据的统一存储和管理。
具备丰富的数据处理经验,精通SQL和Python等编程语言,能够熟练编写高效的ETL脚本和数据处理程序,实现车厂车场数据的采集、清洗、转换和加载。熟悉数据挖掘和机器学习算法,能够利用车厂车场Data Lake中的数据进行数据分析和建模,为车厂车场运营提供决策支持,如通过数据分析预测车场车位使用率、车辆故障率等。
熟悉数据治理和数据安全相关技术,了解数据质量评估指标体系和数据质量管理方法,能够制定车厂OEM车场Data Lake的数据治理策略,保障数据的质量和一致性。熟悉数据安全法律法规和标准,如《网络安全法》《数据安全法》等,能够规划数据安全管理架构,保障车厂车场数据的安全性,防止数据泄露等安全事件的发生。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请