主要职责
数据质量监控与分析 ：
设计并实施数据质量规则和指标，确保数据符合业务需求。
使用Python开发自动化脚本和工具，进行数据清洗、验证和异常检测。
定期生成数据质量报告，提供改进建议。
数据质量管理工具开发 ：
构建和维护数据质量监控平台，集成到现有数据管道中。
开发ETL流程中的数据质量检查模块，确保数据在各个阶段的一致性。
实现对大规模数据集的高效处理，优化数据质量检查性能。
问题诊断与改进 ：
分析数据质量问题的根本原因，提出并实施解决方案。
协助团队建立数据治理框架，制定数据质量管理的最佳实践。
与数据工程师、分析师和产品经理协作，推动数据质量改进项目。
技术文档与培训 ：
编写清晰的技术文档，记录数据质量规则、流程和工具使用方法。
对团队成员进行数据质量管理的培训和支持。
技能要求
编程能力 ：
熟练掌握Python编程语言，熟悉常用库如Pandas、NumPy、PySpark等。
具备编写高效、可扩展代码的能力，能够处理大规模数据集。
数据处理与分析 ：
熟悉SQL，能够高效查询和操作关系型数据库（如MySQL、PostgreSQL）。
有使用大数据工具（如Hadoop、Spark）的经验者优先。
数据质量工具 ：
熟悉数据质量相关工具和框架（如Great Expectations、Deequ、Dataiku等）。
有开发自定义数据质量检查工具的经验者优先。
ETL与数据管道 ：
熟悉ETL流程设计与实现，了解数据管道的构建和优化。
有使用Airflow、dbt等数据编排工具的经验者优先。
问题解决能力 ：
具备良好的逻辑思维和问题诊断能力，能够快速定位和解决数据质量问题。
对数据敏感，能够发现潜在的数据异常和风险。
沟通与协作 ：
良好的团队协作能力，能够与技术和非技术人员有效沟通。
能够清晰表达复杂的技术概念和解决方案。
任职资格
教育背景 ：
计算机科学、数据科学、统计学或相关领域的本科及以上学历。
工作经验 ：
2-5年数据工程、数据质量或数据分析相关工作经验。
有实际项目经验，特别是在数据质量管理、数据治理或ETL开发方面。
加分项 ：
熟悉阿里云云计算平台及其数据服务 （如ODPS ）
有机器学习或数据科学背景，能够结合算法提升数据质量。
参与过大型数据平台建设项目，具备复杂数据环境下的实战经验。