最具影响力的数字化技术在线社区

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
打印 上一主题 下一主题
开启左侧

[理论框架] 数据模型:向上承接业务,向下引导数据

[复制链接]
跳转到指定楼层
楼主
发表于 2020-3-7 19:42:29 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
数据模型在数据管理中居于什么样的位置?笔者认为数据模型在数据管理中处于向上承接业务,向下引导数据的关键位置。


导读:国际数据管理协会DAMA在DMBOK2中定义了11个数据管理职能领域,数据建模与设计是其中的一个关键领域。数据模型作为数据建模与设计的核心产出物,势必与其他各个领域都有着千丝万缕的联系。我尝试着将这些关系总结整理成这篇文章,与大家一同分享。
如下图,在DMBOK2中,数据管理包含了11个职能领域,这11个领域分别是数据治理、数据架构、数据建模与设计、数据存储与操作、数据安全、数据集成与互操作、文档与内容管理、参考数据与主数据管理、数据仓库与BI、元数据、数据质量。
图1DAMA定义的11个数据管理职能领域
(DMBOK2, DAMA International)
各个领域的定义和作用书中已经介绍得很清楚,所以我在这里就不赘述了。下图是我从数据模型出发,总结出的数据模型与各领域产出物之间的关系图:
图2 数据建模与数据管理各领域的输入输出关系
各领域之间的这些输入输出关系让数据管理各个领域之间形成了一张关系复杂的网,其中数据模型处于一个关键位置。
我将数据模型与各领域的关系总结成了以下9点:
1. 数据模型是承载着数据需求的元数据集合
从一定程度上讲,我个人认为:数据模型是真正立足于企业数据需求创建出来的元数据集合。
其中包括实体名、属性名等丰富的技术元数据,还包括业务规则等业务元数据,主外键等关系是元数据血缘分析的主要来源之一。同时,数据模型也为元数据管理提供了元数据标准和元数据质量评分的指标参考。
2. 数据模型是数据校验的对象之一,是形成数据质量规则的基础
数据模型为数据质量管理提供关键元数据与业务规则输入,以便人们可以针对性地根据企业现状制定数据质量检核标准与数据质量检核规则。同时,数据模型本身也需要符合数据质量管理标准,需要通过数据质量管理的检核。
3. 数据模型是数据集成与互操作的起点
为了在数据集成时创建一个单一、一致的数据版本,在数据集成时充分分析现有数据模型就显得尤为重要。保证数据模型中关键元素的一致是数据集成时需要首要考虑的问题。
4. 数据模型是数据存储与操作的结构保障
数据模型精确标准的定义为数据提供了一个规范的结构,这种比较精确化的结构和约束成为数据存储和操作的一层基本结构保障,减少了数据存储和操作时发生数据异常的可能性。
5. 数据模型是数据安全管控的对象之一
数据模型是数据安全管控的对象之一,数据模型中往往需要根据具体的数据安全需求标注出敏感字段/表,企业也需要参考着数据模型来制定具体的数据安全技术实现需求与业务规则,判断出那些字段可以被哪些人查看,哪些字段需要脱敏等。
6. 数据模型通过文档和内容管理实现可复用
在初始数据建模阶段,有效的文档和内容管理可以为数据建模提供以往数据建模过程的详细参考。
在建模完成时,数据建模过程中的各种模型设计文档,可以通过文档和内容管理模块实现合理存储,形成企业数据模型记忆库,供未来其他部分数据建模参考,或供数据模型维护阶段参考,实现数据模型的复用。
7. 数据模型是数据仓库和BI的核心
数据模型能为数据仓库建设提供全面的业务梳理和整体的数据视角,通过数据模型,业务人员、开发人员能够很容易在数据仓库需求、范围以及长远建设规划上达成共识,真正形成业务到数据仓库的映射。
通过专门为BI数据分析而设计的维度模型,更好地分析立足于数据分析的数据需求。可以说没有数据模型,数据仓库与BI就无从谈起。
8. 数据模型为参考数据与主数据管理提供一致性指导
参考数据与主数据管理是通过管理共享数据,去满足组织目标、减少数据冗余风险、保证更高的数据质量、减少数据集成成本的过程。(DMBOK2,DAMA International)。
在全面的MDM环境中,逻辑数据模型将在多个平台中进行物理实例化,逻辑数据模型为主数据管理提供了清晰、一致的数据定义,它指导MDM解决方案的实施,并提供了数据集成服务的基础。
9. 数据模型为数据科学与AI提供数据保障
数据科学与AI离不开数据,而数据模型恰恰就是为数据科学与AI后续算法与分析过程提供数据的基本保障。
数据模型的建立能够让各个数据管理领域有着力点,从而能够为数据科学家们的业务分析工作提供更准确的数据,让AI算法得出更准确的结果。
总结
可以说,数据模型在数据管理中处于向上承接业务,向下引导数据的关键位置。
它是承载着数据需求的元数据、是数据质量校验的对象、是形成数据质量规则的基础、是数据集成与互操作的起点、是数据存储和操作的结构保障、是数据安全管控的对象、是数据仓库和BI的核心、是参考数据与主数据的一致性指导。做好数据模型的管理,企业数据管理将会事半功倍。
参考:[1]DAMA International.DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition)[M].Technics Publications:BASKING RIDGE, NEW JERSEY,2017:123.
作者:龚菲,数据领域工作者

楼主热帖
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 转播转播 分享分享 分享淘帖 赞 踩

168大数据 - 论坛版权1.本主题所有言论和图片纯属网友个人见解,与本站立场无关
2.本站所有主题由网友自行投稿发布。若为首发或独家,该帖子作者与168大数据享有帖子相关版权。
3.其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和168大数据的同意,并添加本文出处。
4.本站所收集的部分公开资料来源于网络,转载目的在于传递价值及用于交流学习,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。
5.任何通过此网页连接而得到的资讯、产品及服务,本站概不负责,亦不负任何法律责任。
6.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源,若标注有误或遗漏而侵犯到任何版权问题,请尽快告知,本站将及时删除。
7.168大数据管理员和版主有权不事先通知发贴者而删除本文。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2024-6-12 09:13

Powered by BI168大数据社区

© 2012-2014 168大数据

快速回复 返回顶部 返回列表