1、负责数据仓库的设计、开发和优化,包括数据模型设计、ETL(数据抽取、转换、加载)流程开发和维护。
2、参与数据 pipeline 的构建,确保数据的准确性和高效性。
3、编写和优化 SQL 脚本,处理大规模数据的计算和分析任务。
4、使用 Python/Java/Scala 等编程语言开发数据处理脚本和工具。
5、与数据分析师、业务部门合作,理解数据需求并提供技术支持。
6、负责数据质量监控,确保数据的完整性和一致性。
7、持续优化数据处理流程,提升数据处理效率和系统性能。
任职要求:
教育背景:本科及以上学历。
工作经验:1-3 年数据开发相关经验,有实时+离线数据仓库或大数据项目经验者优先。
技术能力:
熟练掌握SQL,具备复杂 SQL 调优能力。
熟悉 Python/Java/Scala 中的一种或多种编程语言。
熟悉数据仓库工具(如 Hive、Hadoop、Spark、Flink 等)或主流大数据技术。
了解数据建模方法论,熟悉维度建模或范式建模。
熟悉数据清洗、数据转换和数据集成流程。
加分项:
有机器学习或AI相关经验,能够将数据处理与模型训练结合。
熟悉数据可视化工具(如 Tableau、Power BI、ECharts 等)。
有金融行业特定知识。
有平安集团/互联网相关经验。
其他要求:
具备良好的逻辑思维能力和问题解决能力。
良好的沟通能力和团队合作精神。
对数据和技术充满热情,乐于学习新技术。