最具影响力的数字化技术在线社区

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
打印 上一主题 下一主题
开启左侧

什么是数据建模?什么是数据质量?

[复制链接]
跳转到指定楼层
楼主
发表于 2019-7-3 11:44:56 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
引言

本文是静怡同学翻译自 DATAVERSITY 的两篇短文,辨析一下数据建模与数据质量的概念,供大家参考。

什么是数据建模?

Cynthia 导读:

数据模型对于数据服务来说,是抽象了底层资源的高等级资产,既包含了对底层原始数据处理的智慧,也包含了对于 domain 数据问题抽象的 insight;以数据模型为核心的商业模式,在保证了可复用性的同时,也保障了行业专用性,有效的保障了数据资产的价值。

正文:

数据建模是指文档化软件和业务系统设计的实践。这些不同系统和流程的“建模”通常涉及使用图表、符号和文本来表示数据流经企业内的软件应用程序或数据架构的方式。数据建模还包括企业内业务流程建模实践,如处理更大的概念业务流程和整个组织的决策流程。

有许多相关的术语,包括概念建模、企业建模、逻辑模型、物理模型、实体关系模型、对象模型、多维模型、知识图、统计模型、规范数据模型、应用程序数据模型、业务需求模型、企业数据模型、集成模型、业务信息模型、本体、分类法、非关系模型、语义建模、ORM、UML 等等。
数据模型用于记录、定义、组织和显示给定数据库、体系结构、应用程序或平台内的数据结构如何在给定系统内以及在其他系统之间进行连接、存储、访问和处理。

根据 DAMA 国际数据管理知识库(DMBOK),数据建模是:

  • 分析和设计的方法,用于:定义和分析数据需求和定义支持这些需求的逻辑和物理结构
  • 数据模型是反映数据要求和设计的一组数据规范和相关图表


大多数数据建模教程讨论数据模型的三种主要类型:逻辑、物理和概念。数据管理通讯(TDAN.com)将其定义为:

  • 物理数据模型表示数据库的实际结构 - 表和列,或计算机进程之间发送的消息。这里的实体类型通常表示表,关系类型行表示表之间的外键
  • 逻辑数据模型是完全归一化的完全属性的数据模型。完全属性意味着实体类型具有所服务的应用程序所需的所有数据的所有属性和关系类型。它可能包括:、对可以保存的数据的限制以及与逻辑数据模型服务的应用程序进程相关的规则和派生数
  • 概念数据模型是业务中事物的模型以及它们之间的关系,而不是关于这些事物的数据模型。因此,在概念数据模型中,当你看到一个名为 car 的实体类型时,您应该考虑引擎的金属片,而不是数据库中的记录。因此,概念数据模型通常具有很少的属性(如果有的话)。


什么是数据质量?

正如国际数据管理协会的《数据管理知识手册》中规定的,数据质量(DQ)是“既指与数据有关的特征,也指用于衡量或改进数据质量的过程。”

数据被认为是高质量的,以适合数据消费者想要应用它的目的。它满足他们或明确或潜在的业务需求。由于对数据质量的期望并不总是已知或者可表述,所以需要进行持续的讨论。数据质量取决于环境和数据消费者的需求。

数据质量通常具有以下维度:
  • 准确性
  • 完整性
  • 一致性
  • 完备性
  • 合理性
  • 及时性
  • 唯一性/重复数据删除
  • 合法性
  • 可访问性


数据质量的其他定义包括:

“适合目的,满足作者、用户和管理员的要求。“(改编自 Martin Eppler)(Peter Aiken)

“与信息质量同义。”(Peter Aiken)

“依赖数据的准确性,一致性和完整性,以便在整个企业中发挥作用。”(Michelle Knight)

以下用途的工具和流程:(Gartner)
  • 解析和标准化
  • 广义的“清洗”
  • 匹配
  • 剖析
  • 监控
  • 丰富


Strong-Wang 框架:( 王强,MIT 和 DAMA DMBOK)

  • 固有的数据质量
    准确性
    客观性
    可信度
    声誉

  • 环境数据质量
    增值
    关联
    完整性
    适量的数据

  • 具有代表性的数据质量
    解释性
    易于理解
    代表性,一致性
    简洁的表示

  • 可访问性数据质量
    可访问
    访问安全

数据质量的一些用途:

  • 增加组织数据的价值和使用它的机会
  • 降低与低质量数据相关的风险和成本
  • 提高组织效率和生产力
  • 保护和提高组织的声誉
  • 数据分析
  • 数据标准化
  • 数据监控
  • 数据清理


楼主热帖
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 转播转播 分享分享 分享淘帖 赞 踩

168大数据 - 论坛版权1.本主题所有言论和图片纯属网友个人见解,与本站立场无关
2.本站所有主题由网友自行投稿发布。若为首发或独家,该帖子作者与168大数据享有帖子相关版权。
3.其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和168大数据的同意,并添加本文出处。
4.本站所收集的部分公开资料来源于网络,转载目的在于传递价值及用于交流学习,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。
5.任何通过此网页连接而得到的资讯、产品及服务,本站概不负责,亦不负任何法律责任。
6.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源,若标注有误或遗漏而侵犯到任何版权问题,请尽快告知,本站将及时删除。
7.168大数据管理员和版主有权不事先通知发贴者而删除本文。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2024-5-11 19:17

Powered by BI168大数据社区

© 2012-2014 168大数据

快速回复 返回顶部 返回列表