任职要求:
1、计算机、数学、统计学等相关专业本科及以上学历,具备5-8年及以上数据开发或数据治理相关工作经验。
2、熟练掌握SQL,能高效编写复杂查询、存储过程,具备丰富的SQL性能调优经验。
3、精通至少一门脚本语言(Python/Shell),可独立开发数据清洗、校验、同步等自动化脚本。
4、熟悉Hadoop/Spark/Flink等至少一种大数据生态系统,理解分布式计算原理,有批流一体数据处理经验。
5、深入理解数据仓库建模理论(如维度建模),熟悉分层设计(如ODS/DWD/DWS/ADS),并能独立进行模型设计。
6、有实际使用或二次开发元数据工具(如Apache Atlas、DataWorks、DataArts)的经验,熟悉元数据采集、血缘分析、影响分析。
7、有使用数据质量工具(如Great Expectations, Deequ, DataWorks等)的经验,能独立设计并落地完整性、一致性、准确性、及时性等监控规则。
8、了解GDPR、网络安全法等数据合规要求,有数据脱敏、权限管理、数据生命周期管理等相关实践经验。
9、具备主数据项目实施经验,熟悉主数据整合、清洗、分发流程。