应约写数据标准的文章。
认识我的人知道我对数据管控治理(现在叫数据资产管理)这个领域很熟悉,从05年开始接触这个领域,一直到现在,接近14年了,算是数据管控这个领域的老兵了。但是一直不想下手写这个领域。
人往往就是这样,自己越熟悉的领域越不愿意去写,两个原因吧。
第一、如果你每年要给客户讲这个领域几十遍,会不会觉得自己都很烦?而且现在还要逼着自己把讲的东西梳理,写下来。
第二、越熟悉的领域,越觉得头绪和思路太多了,越觉得还有很多东西需要努力去探知,越不敢下手去写。
硬着头皮上。
关于数据标准我会分为两篇,六部分内容来写。
第一篇:国内近年来数据标准发展历程、标准的本质、标准分类和目标;
第二篇:标准的定义、标准执行策略、标准和其他治理领域的关系;
先谈谈国内数据标准近年来发展的历史过程:
第一个阶段:
开始涉猎数据标准,是07年,得益于我的一位业内甲方老大姐,是原来某银行的科技副总,主管数据,当年我在乙方负责管理这家银行的数据业务。是她很有意识的提出来做数据标准,按照银行数据仓库主题模型分类的角度,逐个主题进行数据标准定义,开始从客户、产品、账户(CAP模型,也就是我们说的客户、产品以及和客户达成的协议,这三个主题通常是以客户和产品为核心的企业的主要的三个主题内容)这三个主要主题入手开展定义,当时作为乙方也是摸着石头过河,但是自己有做过工行和建行数据仓库实践,遇到很多具体的数据质量问题和业务口径问题,这种困惑感觉是依赖标准能够逐步解决问题的。
从这以后,逐步变有了广发、国开等几家银行的具体实践了。
第二个阶段:
从10年人民银行的金融标准化工程(金标)、到11年银监会推动非现场检查EAST工程,配套进行数据标准建设(银标)、到12年开始参与证监会的行业数据模型和标准化工程(证标)、到16年适度参与了保监会委托中保信的保单要素标准化咨询(保标)。逐步通过这金融领域的四大标准化工程,理解了金融行业依赖底层数据治理驱动,如何借助外力推动金融经营实体进行内部数据治理体系建设;如何借助于数据治理提升监管数据标准;如何借助于数据治理提升行业系统性风险防范能力。
这个过程中,借着这些行业数据标准化工程的推动,我参与了不下50个金融机构的交流和项目实践。有意识的机构把这种行业级驱动力理解为自身变革的契机,也有机构只把它当作监管强制性的要求;有意识的机构逐步开始建立责权利明确的新组织去逐步推动,也有机构仍然靠原有工作机制阶段性解决问题;有意识的机构以自身业务特点为出发开展标准咨询和实践,也有机构以外部标准直接作为标准反向对标寻找差距。
不过这个过程中最值得大家去研究的是银监会的数据治理体系推动策略,从12五的《良好标准》检查工作,到13五的《XX指引》,行业级,系统性的推动这个工作,是我看到最有效的行业工程。做这个领域的同事一定要去找银监会的这两个发文,进行比较性阅读,以分析其中的道理。
主要经历过这个阶段的乙方企业,逐步通过自己的实践形成了成熟的帮助企业制定数据标准的咨询方法论,对市场提供服务。
第三个阶段:
在16年我从金融行业开始逐步涉猎其他行业的过程中,开始意识到金融行业在这个数据治理领域都在其他行业的前列,而且不是超前一点点。
过程中参与了一些政府的大数据治理工程,无论是数据资产目录编制还是数据标准定义,基本都是务虚性值,没有形成持续的有效策略,这也是政府大数据工程、多委办局协同、即使有大数据管理机构,因为缺乏治理业务驱动力,所以工作比较难开展。
也参与了机场、航空、地产、制造领域的企业相关数据标准化咨询工作,这些企业以解决自身紧迫业务问题为出发点,意识到通过主数据标准化定义,通过主数据统一构建、主数据管理策略落实,解决企业主数据一致性和规范性的问题。这个领域不同的企业都有一些不错的实践,又让我对不同行业、不同业态、不同数据主题的标准有了新的认知。
再谈谈标准本质:
“什么是标准“
要准确认知什么是数据标准,我们需要先从对“标准”的认知开始,然后才有对“数据标准”的认知。有了对本质的认知,我们才能找到正确的方法去做。
我们先来看看怎么形成标准:
公认的标准必须是标准协会颁布的,而各领域的标准协会(如金融标准委员会,简称金标委),在中国被认可,必须在中国标准化协会注册。
标准化协会受质检总局指导,让我们想到最原始的标准就是“度量衡”。
学历史的时候,我们知道秦统一了度量衡,秦始皇统一全国后,推行”。当时使用的度量衡标准和我们现在使用的有区别。
“一米
后来为了计量更为准确,我们利用光速把它定义为“1/299 792 458秒内行进的距离“
我们当时使用的是子午线的1/4000万,如果我们按照1/5000万,则目前我们使用的标准就和当前不一样了。但是一样可以作为一米(度的标准)来使用。前提是大家都认可,全世界有共识!
“什么是数据标准“
如果这种共识是企业级的,就是企业的数据标准;同理,如果是行业级的就是行业的数据标准或者国家、国际的数据标准。
结合数据分类看数据标准分类:
通常我们对数据的分类方法:
第一层:元数据和业务数据
第二层:我们把业务数据分为基础数据和衍生数据
国际上针对元数据是有规范和标准的,这部分,以后我讲元数据的时候再谈。
而业务数据是我们制定数据标准的重点。
因此我们把业务数据的标准也分为:基础数据标准定义;衍生数据标准定义。
在这个分类的前提下,我们下一篇文章,展开两类数据标准的定义、执行策略讨论。以及再探讨数据标准和数据管控治理领域其它概念(数据质量、数据认责、元数据、主数据)的关系。
上一篇我们讲了数据标准在国内的一些发展过程,什么是数据标准,以及数据标准的基本分类。本篇开始我们重点探讨数据标准细节内容。今天决定把基础数据标准和衍生数据标准分开写,写两篇,写的透彻一些。
本片先写基础数据标准。
一、基础数据标准分类以及和主数据的关系:
当我们面对一个企业帮他定义数据标准的时候,首先考虑这个企业的数据标准的主题分类。个人的建议数据标准的主题定义还是应该和企业数据模型的主题分类统一考虑。
企业数据模型是利用关系实体模型描述现实业务模型,业务模型可以按照业务对象、业务规则和业务流程(行为)三种定义,所以思考企业的数据模型主题划分的逻辑思路应该是:
(1) 明确业务对象,确定描述业务对象的数据主题(可以包括客户、组织、员工、项目、产品、渠道等)。这类型数据大部分都是企业的主数据信息。
(2) 明确业务对象之间的关系,关系连接对象,通过关联关系和关系表的方式进行表达,形成实体和主题之间的关系。(大部分关系数据不构成独立的数据主题,而是依附于主数据主题存在)。
(3) 明确业务流程和基于业务流程发生产生的行为,确定事件(日志)数据包括的内容。(事件主题,可以按照业务领域进行事件分类组织。)
(4) 业务规则通常只是作为一些规则判定表或者参数表存在,构建的是事件类数据和业务主题数据之间的逻辑连接关系。也不作为独立的数据主题存在。
因此基础数据标准的定义主要集中在:
(1) 主数据主题定义和主数据相关的参考数据标准定义;(Master Data & Reference Data)
(2) 事件类数据的核心数据要素的数据标准定义;(Transaction Data)
二、基础数据标准定义前的数据认责:
在定义基础数据标准之前,先解决数据认责的问题。数据的认责就是明确数据的业务责任方,具体按照业务管理,负责这个业务数据的产生、修改、删除、维护的部门就是这个数据的认责方。
数据认责方的责任是什么?
l 数据认责方需要对数据的标准定义,特别是标准的业务要素定义承担责任。需要负责起草认责的数据标准,而且负责协同相关业务参与方讨论确认数据标准。
l 数据认责方需要在提出业务系统建设需求的过程中,提出按照数据标准进行执行的要求。保证自己的数据标准能够落地执行。
l 数据认责方对产生数据提出质量要求,并且对已经产生的数据质量问题的治理驱动承担业务部门应尽的责任。
l 数据认责方需要针对自己认责的数据定义数据安全等级,以及明确数据授权访问的机制。
三、基础数据标准定义:
对于每个数据主题的数据标准定义应该包括:
主数据对象的业务定义(主要明确在企业业务开展过程中,针对该类业务对象的定位)
主数据编码策略(包括主数据的业务主键定义和主数据唯一识别原则)
主数据分类原则(主要明确企业对该类业务对象不同类型的差异化管理策略)
主数据核心数据要素定义(主要包括每个数据要素的业务属性定义、管理属性定义和技术属性定义)
主数据相关参考数据的定义(主要明确参考数据编码和枚举值策略)
主数据相关关系属性的定义(明确不同类型主数据对象之间建立关系的过程中的关系类型定义)
对于附属于某类大主数据主题的小类中主数据,也是同样的定义方法。
需要重点强调的是分类原则,在一些企业内不同业务部门和不同管理目的针对某种主数据很难(或者说没必要)达到一种公认分类维度,例如:在针对资本市场基金行业的时候,针对基金的分类定义,从融资方式、管理方式、投资标的等每个角度都可以产生一个分类方法。因此很难用一种分类方法解决问题。
遇到这种问题如何解决问题?我们尽量找到多种分类方法用于分类的核心要素,把核心要素定义清楚就可以了。不要刻意强调一定有某类分类方法。这种情况下把分类方法用在衍生数据标准化的维度定义和维度数据映射中来解决问题就可以了。
基础数据标准定义,应该尽量参考高阶标准(国际标准、国标、行业标准)做到参考,而且可以完全映射到高阶标准的同时,再满足自身个性化的扩展。
对于没有可参考高阶标准的数据标准内容,就应该结合业务现状、数据现状、业务前瞻性考量在相关方之间充分调研讨论的情况下,达成共识。
四、基础数据标准的落地方法:
如果数据标准定义之后,只是形成一个定义,没有驱动标准落地执行,标准就是一个“形而上学”的纸片,因此标准的落地非常重要,而标准的落地又是一个很难得事情,需要企业业务和技术积极努力持续得推动才能解决问题。
标准落地的两个途径:
所以基础数据标准落地的前提是业务对数据标准的认责!保障机制是科技的评审策略!
对于已经有存量数据的数据标准落地执行,策略分为三步:
五、基础数据标准和元数据关系
基础数据标准包括了数据的业务定义和技术定义。但是如果数据标准没有经过落地过程和数据建立关系,则数据标准仅仅是数据标准;当数据标准经过落地过程和数据建立了关系,则数据标准直接转化为该数据的元数据定义。
因此我们讲数据标准本身就是元数据(关于数据的定义和描述信息的“标准范本”),只有将它转化为真正的元数据,才有意义。
六、基础数据标准和业务术语
在IBM的数据治理工具体系内,并没有完整的数据标准功能,他们有一个叫做“Business Glossary”的东西,也就是我们说的业务术语。
业务可以将业务术语进行定义,同时在定义具体的数据的过程中引用业务术语。
我们可以将业务术语理解为数据标准的一部分,或者说它是数据标准业务部分的可以参考的局部范本。
七、数据标准和数据质量的关系
我在讲课的时候,总讲一句话“衡量质量的依据是标准,质量治理的目标也是标准”。也就是说治理工作标准先行!当然这种说法不代表没有数据标准定义就无法开展数据质量工作,而是说有了数据标准定义更便于系统性的开展数据质量工作。依赖于数据标准展开对于业务系统产生数据的数据质量规则校验,是系统性的侦测数据质量问题的方法。
以上是针对基础数据标准化的核心内容,我们下一个章节讲衍生数据标准化。