职位描述
任职要求:
1、本科及以上学历,计算机、软件工程、信息工程相关专业,5年以上大数据领域工作经验。
2、熟悉大数据生态系统中常用开源软件的部署、升级、扩容缩容、性能优化和问题排查(如Hadoop生态、Flink实时计算体系、OLAP 数据库等)。
3、具有3年以上的数据开发经验,熟悉数据仓库领域知识和管理技能,包括但不局限于:数据治理、元数据管理、数据质量、性能调优等。熟悉大数据开发的python、sql、java语言。
4、具备一定的数据架构设计与优化经验。
5、良好的沟通和理解能力,思维严密、逻辑清晰,责任心强。
岗位职责:
1、大数据平台搭建与运维
负责大数据平台的搭建、相关组件的功能开发和性能优化。
解决大数据平台日常问题,跟进开源社区大数据技术发展和引入新兴技术完善平台能力。
2、数据爬取、开发&建模
负责构建和管理大数据平台的数仓资产建设,对业务场景的海量数据进行数据建模,开发和维护数据ETL流程,确保数据管道的高效运行。
支撑AI所需的数据工作,包括数据爬取,收集、清洗、标注和质量评估和优化工作。
3、数据架构设计与优化
参与公司大数据平台架构的设计与优化,确保系统的高可用性和扩展性。
负责数据管道和数据存储系统的架构设计,提升数据处理的效率和稳定性。
研究和引入前沿的大数据技术,持续优化数据架构,提升系统性能。
4、数据技术创新
引进各类数据创新能力,包括不限于引入智能化数据分析功能、大模型数据分析、大模型数据治理,提升数据处理和分析的智能化水平。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕