职位详情
数据开发工程师
2-3万
上海吉堡教育信息咨询有限公司
上海
5-10年
本科
09-23
工作地址

万达广场(上海江桥店)

职位描述
岗位职责:
1. 数据架构设计与优化:
•参与公司数据架构设计,负责数据仓库的规划与优化,确保数据模型的高效性和可扩展性。
•根据业务需求设计数据流和数据处理流程,确保数据的准确性和完整性。
•有0-1数据架构经验。
2. 数据仓库建设与维护:
•负责数据仓库的搭建、维护和管理,确保数据的高效存储和快速查询。
•参与数据清洗、转换和整合工作,确保数据质量。
3. 数据处理与分析:
•负责数据抽取、转换和加载(ETL)的开发与维护,确保数据处理流程的高效运行。
•支持数据分析团队,提供高效的数据处理和分析服务。
4. 数据治理与质量管理:
•参与数据治理工作,制定数据质量管理策略,确保数据的准确性和一致性。
•负责数据质量监控,及时发现并解决数据质量问题。
5. 系统优化与性能调优:
•持续优化数据处理流程和数据仓库性能,提升系统响应速度和处理能力。
•负责数据库的性能调优,确保系统的高效运行。
6. 跨团队协作与项目支持:
•与业务部门、数据分析师和其他技术团队紧密合作,确保数据需求的准确理解和高效实现。
•参与数据相关项目的规划和实施,提供技术解决方案。
7. 新技术研究与应用:
•关注数据领域的最新技术动态,研究和引入新技术,提升团队的技术水平和数据处理能力。
任职要求:
1. 教育背景:
•计算机科学、信息技术、数学或相关专业本科及以上学历。
2. 工作经验:
•至少5年以上数据开发相关工作经验,有丰富的数据架构设计和数据仓库建设经验。
•熟悉主流的数据仓库架构(如星型模型、雪花模型等),具备独立设计和优化数据模型的能力。
3. 技术能力:
•熟练掌握SQL,具备优秀的SQL优化能力,熟悉大数据处理技术(如Hive、Maxcompute、Spark、impala、 Kylin、ClickHouse 、 Doris 、 StarRocks、hologres、greenplum 等‌‌等)。
•熟悉ETL开发工具(如Datax、dolphinscheduler、Airflow等),具备丰富的ETL开发经验。
•熟悉数据治理和数据质量管理方法,具备相关经验者优先。
•熟悉主流大数据平台(如Hive、HBase、Kafka、Flink等)的使用和优化,有阿里云大数据平台开发经验优先。
4. 其他要求:
•具备独立工作能力和解决问题的能力,能够独立完成数据开发任务。
•具备良好的沟通能力和团队协作精神,能够与业务部门和技术团队有效沟通。
•具备较强的学习能力和技术敏感度,能够快速掌握新技术并应用于实际工作中。
加分项:
1. 有复杂数据架构设计经验,能够独立完成大规模数据仓库的设计和优化。
2. 有跨团队协作经验,能够独立完成数据项目的需求分析、设计和实施。
3. 熟悉数据可视化工具(如Tableau、Power BI、观远BI、QuickBI等),能够将数据处理结果转化为直观的可视化报告。
4. 有机器学习或人工智能项目经验,能够将数据处理与机器学习模型相结合。
5. 有教育、连锁零售、互联网等行业数据开发经验者优先。
6. 熟悉开源大数据生态,有相关开源项目经验者优先。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请