岗位职责:
1、数据质量体系建设与维护:制定与推行数据治理体系与规范,包括制定数据治理的策略、流程和制数据开发服务度,建立数据质量标准和评估体系;
2、数据测试方案设计与执行:在数据产晶的开发过程中,需要参与需求评审,从数据质量和测试角度提出建议;设计数据测试用例并执行,包括对ETL流程、数据模型、数据指标、数据服务接口等进行测试;
3、效率提升与流程优化:开发和维护数据质量检查工具或自动化脚本,引入新的数据测试技术、工具和方法;
4、监控和提升数据质量:定期数据质量检查,发现质量问题,并分析根源,推动相关团队进行整改和优化。
技术要求:
1、熟练掌握 SQL,能够编写复杂的查询语句进行数据探查、比对和验证;
2、有数据测试和数据治理相关经验,熟悉 DAMA ,DCMM 等数据筐理框架,熟悉大数据技术生态,了解Hadoop、
Hive、Spark、Flink、Kafka 等常见组件的原理和应用场景;
3、至少掌握门脚本语言(如 Python 或 Shell)或编程语言(如 Java),用丁开发自动化测试脚本和工具;
4、了解或使用过数据质量筐理平台、元数据筐理工具的优先;
5、有过企业法人库相关经验的优先。