数据质量监控

• 数据质量的定义
  • 从数据使用者的角度定义，高质量的数据应该是能充分满足用户使用要求的数据。
    
• 数据质量的标准
  • 1：及时性：数据获取是否及时，主要指数据提取、传送、转换、加载、展现的及时性。在数据处理的各个环节，都会涉及到及时性。我们一般考虑两个方面第一就是接口数据是否能够及时的抽取过来。第二就是展现层能否及时的展现出来。
  • 2：完整性：是指数据是否完整，描述的数据要素，要素属性及要素关系存在或不存在，主要包括实体缺失、属性缺失、记录缺失以及主外键参照完整性的内容。
  • 3：一致性：第一就是原始数据即文件接口和入库的数据记录条数是一致的。第二就是同一指标在任何地方都应该保持一致。
  • 4：有效性：描述数据取值是否在界定的值域范围内，主要包括数据格式、数据类型、值域和相关业务规则的有效性。
  • 5：准确性：主要是指指标算法、数据处理过程的准确性。这个准确性主要是通过元数据管理中定义的指标的算法、数据处理顺序和人工检查相结合的方式来保证。
    
• 数据仓库中数据质量检查
  • 接口数据的检查。接口数据主要有文件和数据库
    • 接口内容本身的数据质量问题： 及时性，有效性，完整性
    • 文件接口采集程序的监控：文件接口采集程序是否正常启动，正常结束等
      
  • 数据仓库层面的数据
    • 数据处理过程监控：是否按时调度，是否成功。
    • 关键指标的检查：
      • 基础指标的检查
        • 数值检查：主要是通过检查单个指标的数值来发现指标的异常和突变等情况。这里需要设置相应的阀值来进行。
        • 波动检查：主要是同比或者环比的检查。先计算指标的同比或环比波动率，然后与预定的波动率上下限（阈值）进行比较。
        • 关联检查：对两个存在关联关系的指标（如同增、同减正关联关系），分析变化和波动情况。
        • 平衡检查：通过对若干个指标值的简单四则运算（加、减、乘、除），来检验各个指标间潜在的平衡或其他比较关系。
          
      • 加权波动检查：通过对单个指标的基础检查结果和影响因素的加权计算分析，综合检查指标的波动和变化情况。
        
      
      
    
    
• 数据质量的评测流程
  • 数据质量需求分析
  • 确定评价对象和范围
  • 选取数据质量维度及评价标准
  • 确定质量测度及评价方法
  • 运用方法进行评价
  • 结果分析和评级
  • 质量结果和报告
    
• 数据质量的评估方法
  • 基本概念
    • 模型M=<D，I，R，W ，E，S>
    • D（Dataset）是需要进行评估的数据集
    • I（Indicator）数据集D上需要进行评估的指标，如完整性、准确性、一致性等
    • R（Rule）与评估指标相对应的规则
    • W（Weight）赋予规则R的权值(大于0的整数)，描述了该规则在所有规则中所占的比重。
    • E（Expectation）对规则R给出的期望值(介于0到100之间的实数)，是在评估之前对该规则所期望得到的结果。
    • S（reSult）规则R对应的最终结果(介于0到100之间的实数)，是在检测该规则后所得的结果。
      • • 
          
        
        
      
      
  • 构造技术
    • 构造数据质量评估模型要经过4个步骤：确定数据集评估应用视图，选择评估指标，制定规则集，计算规则结果得分。
    • 下面将结合具体的实例来说明如何构造数据质量评估模型。
      • 1、确定数据集评估应用视图
        在进行数据质量评估时，首先要提出数据质量评估的需求，要确定哪些数据是用户感兴趣的(包括数据库、数据库中的数据集和数据集上的字段)，对它们建立对应的用户视图。
        2、选择评估指标
        对于每个给定的数据集，选择所需要的评估指标： 对于Customer，选择完整性和有效性两个指标。
        3、制定规则集
        根据选择的评估指标，制定数据质量评估规则，并确定它们相应的权值和期望值。对于Customer，针对完整性和有效性指标制定以下规则：
        (1)ID 非空(权值：5，期望值：90)：完整性
        (2)ID长度为18位(权值：10，期望值：90)：准确性
        (3)Sex值为 F 或 M (权值：10，期望值：98)：有效性
        4、计算规则结果得分
        对于规则集中的每条规则R，检查数据集上的数据实例，计算满足R的数据元组的百分比，得到R对应的结果S。计算数据元组总数的百分比，就是最终结果：假设它们的结果分别为95，90，90。
      • 
        
      
      
    
    
  
  

参考

http://www.chinaz.com/web/2012/1112/281738.shtml

http://blog.sina.com.cn/s/blog_66239fdb0100z9yf.html

http://www.5ykj.com/Article/xslwqygl/98050.htm