为“数据标准”正名——数据标准化工作思考

从2004年数据治理工作开展以来，国内银行、通信、电网等各大行业陆续开展了数据治理。数据标准化工作是早期数据治理的重点工作内容，业界对数据标准概念并不陌生。然而时至今日，依然有很多企业数据管理相关人员对“数据标准”存在很多误解，要么认为数据标准无用，要么认为数据标准万能，对数据标准的内容、制定方法、作用、落地等方面没有统一清晰的认识。本文试图从对数据标准的误解出发，层层释疑，还原数据标准的本质，解析数据标准化工作的重点，希望大家对数据标准的认识有个新的改观。

误解1：不清楚数据标准的概念和内容

“系统数据字典就是数据标准”

“数据模型可以作为数据标准执行落地”

“数据标准应该包括接口服务标准”

“数据标准应该包括数据运维工作标准和数据安全工作标准”

   ……

【解析】：

数据标准定义

IT系统和数据库经历了长期的发展已经日趋成熟，国内外对数据字典和数据模型有清晰的定义和解释。而“数据标准”这个词却是从2004年才在国内提出，此后数据标准化工作席卷银行、通信等行业，上至银监会的良好数据质量标准要求和央行的数据标准定义规范行标，下至各大国有商业银行、股份制银行和城商行、农商行的数据治理大力开展。到目前为止，国内绝大数银行都已开展过一轮以数据标准为中心的数据治理工作。

在这种情况下，国内相关数据管理工作人员基本人人都知道数据标准，却很少能给出清晰明确、科学合理、统一认可的数据标准定义。

（1）以知名咨询公司为代表，提出“数据标准是对企业经营管理所涉及的各项数据的定义与解释，以及数据质量及安全性要求的统一定义，包含数据在业务层面的定义和在技术层面的定义。”

（2）以数据治理工具厂商为代表，提出“数据标准是为了使企业内外部使用和交换的数据是一致和准确的，经协商一致制定并由相关主管机构批准，共同使用和重复使用的一种规范性文件。”

（3）以行业监管机构为代表，2014年3月中国人民银行发布了金融行业标准：《银行数据标准定义规范》，对数据标准定义和内容作了规范。“数据标准是对数据的表达、格式及定义的一致约定，包含数据业务属性、技术属性和管理属性的统一定义。”

综合以上几家观点，我们尝试给数据标准做个定义，供大家参考。“数据标准是组织内制定并发布的对经营管理相关数据从业务、技术和管理角度的定义解释，包含数据质量、数据安全、数据认责、数据应用等方面要求在内的一种规范性文件”

数据标准分类

从业务角度上，以银行数据标准为例，总体分为基础类数据标准和分析类数据标准，有的银行会再加个专有类数据标准，根据不同业务主题又可进一步的细化；根据数据类型可分为代码标准、编码标准、计值标准、日期标准、描述标准等，甚至可以进一步细分出标志类、比例类、时间类等；根据标准来源的不同，又可分为国家标准、监管标准、行业标准、行内标准等。

从技术角度， 国内已经完成的“数据能力成熟度评价模型”国家标准中，将数据标准分为业务术语标准、参考数据和主数据标准、数据元标准、指标数据标准。还有的技术厂商将标准分为单词标准、用语标准、域标准和信息类型标准。

需要指出的是，数据标准分类没有正确错误之分，只有合理与不合理之分。不同的企业，具体的分类也会有不同，要根据企业自身实际情况来制定。

数据标准的属性要素

数据标准的属性一般都包含业务属性、技术属性和管理属性。具体各属性下包含不同的标准要素，不同企业属性下要素也不尽相同。以下是参考人行金融标准基础上适当调整后的描述，供大家参考。

业务属性描述数据与企业业务相关联的特性。业务属性包括中文名称、英文名称、英文简称、业务定义、业务板块、业务规则、值域、标准来源、标准依据、依据版本、敏感度、相关数据、与相关数据关系等。

技术属性描述数据与信息技术实现相关联的特性，是数据在信息系统项目实现时统一的技术方面定义。技术属性包括数据类型、数据格式和引用的标准代码。

管理属性描述数据标准与数据管理相关联的特性，是数据管控在数据标准管理领域的统一要求。管理属性包括数据定义者、数据管理者、数据使用者、颁布日期、废止日期、业务应用领域、标准落地系统等。

数据标准定义框架中的每个具体属性不是在所有情况下都是必须的，这些属性被分为必选、条件选、可选几种约束类型。属性的约束类型由数据管控需求和环境决定，同一属性，在不同的企业、同一企业的不同发展时期，可以有更严格或者更宽松的约束类型。

图1：《银行数据标准规范》中数据标准属性要素参考

分析类标准的属性要素略有不同，一般都包括指标分类、指标名称、指标编码、单位、指标计算规则、常用维度、数据类型、生成频率、来源系统、管理部门等。

注意区分数据标准与数据标准化的不同：

数据标准是组织内制定并发布的一系列主题包含的数据标准信息项规范；而数据标准化是组织内与数据标准制定、发布、修订、复审、落地相关的涉及组织架构、人员职责、规范流程、系统改造、技术工具支撑、绩效考核、文化建设等方方面面的工作体系。

数据标准是一经制定发布后相对稳定的静态文件；而数据标准化是一项系统性、复杂性、艰巨性、长期性的动态管理工作。

图2：数据标准化框架

误解2：忽视或夸张数据标准的作用

“信息系统已经建设完毕，数据标准就是一堆文件，对企业没有多大作用，何必费时费力去做”

“数据标准已经建立，新系统建设却并没有按照标准进行执行，数据标准没能发挥价值”

“数据标准已经制定并发布，可企业数据质量依然很差”

“数据标准是万能的，做好数据标准，一切都顺利成章”

   ……

【解析】：

国内数据标准化进程已经发展了很多年，但是实际效果显著的企业不多，是什么原因呢？真的是数据标准无用么？

出现这种情况，本质上是两个原因：一是数据标准本身有问题，落地困难；二是数据标准化工作推动出现问题，导致数据标准没能真正落地执行。而数据标准化工作不到位是最主要原因，因为数据标准本身的问题是可以通过良好的数据标准管理机制进行完善的。

具体原因可能包括：

（1）国内企业数据标准制定方法，绝大多数都是在咨询公司帮助下，借鉴其他同行业企业的数据标准经验，在咨询公司数据标准版本基础上通过访谈调研对数据标准基础版本进行个性化修改而成。导致制定的数据标准从源头上就不符合企业实际情况，在后续落地推进中产生很多新的问题，造成落地困难阻力重重，逐渐的就会将之前已制定的数据标准束之高阁直至废弃。

（2）很多做数据标准的企业，动机不是为了指导信息系统建设，提高数据质量，而是应付监管机构检查，因此需要的就是一堆标准文件和制度文件，并没有执行的计划。

（3）很多做数据标准和数据治理的企业，都是咨询公司帮助规划和执行，而一旦咨询公司撤场后，企业自身并不具备数据标准化工作的能力和条件。

（4）数据标准化长期性、复杂性、系统性的特点要求企业内部组织架构和人员尤其是高层领导保持长期稳定状态，而国内企业频繁的组织领导调整和规划调整导致数据标准化工作不能正常开展下去。

（5）数据标准化工作涉及企业管理的重要变革，最终目标是将理念和文化融入整个企业的日常运作当中，需要获得企业上下的广泛接受。而涉及变革和利益的事情推进起来都很困难，尤其是覆盖整个企业大部分员工，对企业管理水平要求极高。

业界对数据标准作用和价值的介绍相对较多，包括统一业务定义和口径、保证数据一致性要求、提高系统间交互效率、指导企业信息系统建设、提高基础数据质量、为企业决策支持和精细化管理做支撑、为大数据应用做保障等，越来越多的人认识到数据标准的重要性，这里就不做过多赘述。

此处主要是结合数据标准部分重要属性字段，分析下数据标准与数据质量、数据安全、数据认责、数据应用的关系，从中不难发现数据标准的作用和价值。

图3：数据标准要素对应作用

中文名称：统一业务人员和技术人员对同一字段的命名规范和口径，避免出现不同名称同一含义、同一名称不同含义的现象。

英文名称：根据中文名称给出的英文全称，通过建立规范的中问到英文、英文全称到英文简称的词根库，为数据库表字段名称提供支撑，避免信息系统字段命名混乱、甚至用中文名称拼音缩写来代替字段名称的现象。

引用代码：从企业全局高度统一制定代码表，为各系统的参考数据提供唯一来源。

业务含义：确保业务人员、技术人员、管理人员等对同一术语明确一致的理解。

业务规则：业务规则是企业业务对数据的约束条件的具体描述，包括相关业务的政策规定、以及政策规定发生作用的业务场景，例如数据的计算方法、数据的编码规则等内容。数据标准业务规则是进行数据质量定义、监测、评估、改进的原则和基础，企业数据质量控制工作的开展，需要依赖于清晰、完备、准确、详尽的数据业务规则定义。

值域：规定数据的取值范围和允许值的集合，为数据质量规则提供支撑。

数据类型和数据格式：不同的数据类型和数据格式对应不同的质量规则约束，同样为数据质量规则提供技术支撑。

敏感度：企业内数据从安全角度区分数据敏感度，规定数据安全等级，以及不同等级对应的数据安全处理策略。

数据定义者、数据管理者：为企业数据认责提供依据。

数据使用者：指明数据应用的对象，方便快速准确的数据应用。

由此可见，数据标准是企业进行数据质量、数据安全、数据认责、数据应用等工作的基础和来源，数据标准的好坏直接影响企业其他数据治理工作的顺利开展。

并不是数据标准本身没用，而是企业数据标准有缺陷、领导不重视、管理机制差、不严格落地执行等原因导致数据标准无法正常发挥作用。

同时要认识到，数据标准不是万能的，数据标准发布到系统改造、数据质量提升、数据认责机制建立、数据安全保护还有很长的路要走，换句话说，数据标准的见效是缓慢的过程。

误解3：不清楚数据标准准入原则和制定方法

“数据标准越多越好，内容越多作用越大”

“系统数据库表中字段都应该作为数据标准”

“企业全业务数据标准短时间内制定完成并实现落地”

“其他同业公司这么定标准，我们这么定也没问题”

   ……

【解析】：

企业在进行数据标准制定和维护的过程中，经常遇到的困惑是：到底哪些数据要定义数据标准？数据标准是一次性全制定还是分阶段制定？

对企业来讲，比较可行的方法是，从解决问题的角度出发，识别目前数据质量或数据认责、数据安全等数据管理方面遇到的最棘手的问题或业务主题，从最核心的数据字段开始，循序渐进的制定数据标准，同时推进该部分数据标准落地工作。

数据标准准入原则

企业数据标准非常丰富，对于数据标准来说，将所有的数据纳入数据标准是没有必要的。因此，从数据标准对业务和IT的指导作用出发，设立如下的数据标准准入原则。

图4：数据标准准入原则

       对于分析类标准，只需针对综合类的分析指标进行标准化，对于单个业务领域所使用的分析类指标可暂不纳入标准化范围。

通过准入原则可见，数据标准的数据范围主要集中在企业业务最核心的数据部分，有的企业也称作关键业务数据或核心数据。只要制定出这些核心数据的标准，就能够支撑企业数据质量、数据安全、主数据等管理的需要。

数据标准制定方法

数据标准化工作开展的企业中，绝大多数企业数据标准制定方法是咨询公司建议的、在咨询公司数据标准基础版本上修改而成的，如下图所示。

图5：数据标准一般制定方法

这种方法最突出的优势是方便快捷，可以在短时间内完成企业内部全业务范围的数据标准制定，是典型的“为定标准而做标准”，容易造成很大后续问题。

科学合理的做法应该是：参照企业业务架构，全面梳理企业内部业务范围和流程，以及伴随流程运转过程中产生的数据项，对数据项进行分类归并，进而提炼数据标准，完成数据标准主题分类和属性要素完善。这种方法最大的问题在于工作量巨大，持续时间长，见效缓慢，对过程中分析工作执行力要求高，在企业对数据标准重要性认识普遍不高的情况下很难推进。

近几年，随着“数据资产”的走红，越来越多的企业开始真正意识到数据的重要性、以及数据治理和数据标准的重要性，因此之前做完数据标准然而并没有真正落地的很多企业，现在开展数据资产梳理，编制数据资产目录，进而在梳理的过程中二次建立数据标准，也不失为一种好的方法。

误解4：忽视数据标准更新机制

“数据标准要能够指导企业未来3-5年的信息系统建设”

“数据标准一经制定，必须严格执行，不能更改”

   ……

【解析】：

一般来说，数据标准的制定都会滞后于业务开展，所谓的前瞻性原则，也是参照同业中业务全面的企业业务制定相应数据标准。

事实上，数据标准制定并发布的时刻就已经开始过时，需要根据企业发展，随时调整和更新数据标准，以满足业务开展和系统建设的需要。

推动数据标准更新的原因一般包括：

• 新业务开展，相应数据标准缺失；

• 国际标准、国家标准发生变化；

• 监管机构或主管机构数据报送要求发生变化；

• 企业内部管理需要，新增统计报表需求；

• 企业内部组织架构调整，数据标准对应管理部门发生变化；

• 数据标准落地过程中发现标准不满足落地要求。

  
  

误解5：不清楚数据标准落地工作方法

“数据标准落地就是在建设数据标准管理工具，能通过系统界面进行查看维护”

“新建系统需要进行数据标准落地，已建系统不需要”

“已建系统必须遵循数据标准，严格落地”

“短期内数据标准各属性要求必须全部落地执行”

   ……

【解析】：

作为数据标准化最核心的工作，数据标准落地同时也是是工作推动最困难、涉及部门人员最复杂、治理效果最显著的阶段。国内推进数据标准化工作失败的企业，大多都止步在数据标准落地阶段。下面主要讨论下数据标准落地工作相关要点。

关于落地方式：

有的企业引进外部厂商通过所谓的“咨询+落地”方式开展数据标准化工作，他们理解的“落地”指的是建设数据标准管理平台工具，以线上系统方式而不是线下纸质方式管理维护数据标准；还有的企业则认为制定完数据标准后，与源系统进行全面差异分析并建立完整的映射关系，就算是完成数据标准落地工作了。

我们认为真正的数据标准落地包括三种方式：

（1）源系统改造。对源系统的改造是数据标准落地最直接的方式，有助于控制未来数据录入的质量与准确性，但工作量与难度都较高；

（2）数据中心落标。根据数据标准要求建设数据中心（或数据仓库或数据集市），源系统数据与数据中心做好接口映射，保证传输到数据中心的数据为标准化后的数据；

（3）系统间接口改造。对系统间接口的改造也是保障交互一致性的重要方式，数据在系统间交互时将数据按照标准转换，从而保障数据的准确性与一致性。

关于标准落地工作步骤：

完整的数据标准落地实施过程包括七个阶段：

整体规划：制定数据标准落地的整体目标和近期计划安排；

确定范围：根据业务发展和IT治理的需要，确定数据标准落地范围和落地系统；

差异分析：在数据标准落地范围中，找出并分析标准与数据现状的差异部分；

影响性分析：根据差异分析结果，从业务和系统等多个方面分析数据标准落地后的影响；

制定具体执行方案：根据影响性分析的结果，制定落地具体执行方案，明确相关方在落地过程中的需要完成的任务和时间要求；

落地执行：根据执行方案，相关方进行实施。

数据标准落地跟踪检查：根据数据标准落地方案，对各主要IT系统及其周边系统的落地情况进行跟踪。

关于落地原则：

企业在数据标准落地工作阶段，经常面临的困惑是，面对各已建系统中大量不符合数据标准要求的字段无从下手。如何确定数据标准落地优先级？如何判断某字段是否要改造？改造生产系统发生系统宕机影响业务开展怎么办？

其实只要把握好一条原则就可以：平衡阶段性工作的投入与产出，保障边际效益最大化。

具体原则包括：

（1）业务驱动原则

以解决业务部门最为迫切的数据问题作为数据标准落地工作的入手点和落脚点，以业务需求为驱动力，推动数据标准的落地执行。通过对企业业务运营和管理的收益分析，排定落地内容的优先级；通过对企业业务统计分析和监管报送的收益分析，排定落地的优先级；对于相关性较强的数据标准内容，建议同时实施落地。

（2）长远规划与短期现状相结合原则

长远考虑数据标准落地执行的广度与深度，基于企业的现实情况及业务发展战略，确定数据标准落地执行的实施路径及工作策略，既确保数据标准的业务价值能快速体现，又能保障数据标准落地工作能持续推进。

（3）循序渐进原则

数据标准的落地工作不可能一蹴而就，在数据标准落地执行的过程中需要及时总结经验教训，不断完善数据标准内容及数据标准执行的管理机制。尽可能减少已投产运营系统的改造成本与额外问题产生的风险；深思熟虑外购的成熟软件进行系统改造的可行性与复杂性；对于系统实施项目，尽可能在不延长项目实施周期的情况下进行数据标准的落地。

（4）规划先行原则

经过充分的分析和论证后，制定周密的数据标准落地规划，参照企业IT规划的整体安排，未来的系统建设会有节奏、有计划的进行，新建系统数据标准的落地以及已有系统改造的数据标准落地工作也需按照IT规划的建设步骤进行。

关于执行策略：

新建及重大改建系统（需要改造系统内数据结构、表结构、数据模型或涉及接口改造的项目）应遵循已发布的数据标准，并将数据标准贯穿需求分析、系统设计、开发、测试的整个过程，进行新建系统的落地工作；

对已建成系统内部数据结构的改造需要谨慎，不强制执行，应待系统改造或新建时机进行系统层面上的数据标准落地。已建系统应做好标准和现有模型的映射，了解该系统和数据标准的信息面重叠关系, 重点落实系统中缺失，而标准涵盖的信息项。

已建系统的标准落地工作重点考虑采用在数据中心以及各业务系统上进行接口映射的方式，实现已建系统老数据与新改建系统标准化数据的互通，实现标准落地。

对于影响范围可控、改造内容较少或老数据与新数据不满足建立映射关系的情况，可对已建IT系统内部数据结构、接口、前端界面等进行必要的系统改造，以满足标准落地的需要。

具体落地细节上，数据标准落地以标准名称、代码取值、长度、格式类型等属性要素为主，目前有的企业已经细化到各系统数据库表命名上，通过统一规范的词根库严格要求各信息系统表名字段名遵循标准执行。

误解6：对数据标准工作责任划分模糊

“数据标准化工作是科技部门的责任，与业务部门关系不大”

“数据标准制定是业务部门的责任，不是技术人员做的”

“数据标准化工作只涉及核心业务部门，与其他部门无关”

“数据标准化工作是高层领导考虑的事情，与底层员工无关”

   ……

【解析】：

  首先看一下数据标准与数据治理的关系，下图给了一种数据治理框架的参考。

图6：数据标准在数据治理中的定位

从图中可以看出，每一个专题工作（数据标准、数据质量、元数据等）的开展都需要战略目标规划、组织制度流程机制、数据专题、技术实现在内的完整的治理框架，数据标准化工作本身就是数据治理工作重要的组成部分。

由此可知，数据标准化工作同样需要建立完整的组织架构，以制度形式明确相应组织和人员的职责，并且辅助以相应的绩效考核。这种情况下，数据标准化工作涉及到企业高层领导、中层管理者以及底层的执行人员，也涉及到业务部门、科技部门、外部咨询公司、系统开发厂商等相关方，需要组织内外协同配合共同努力才能顺利推进。

数据标准化工作牵头部门设置上，很多企业都是由科技部门牵头、业务部门配合的方式在开展，不能很好调动业务部门的积极性，效果差强人意。比较理想的方式是高层领导（比如银行副行长或首席信息官）督办、核心业务部门牵头、其他业务部门和科技部门高度配合，推进起来相对顺利些，关键是调动业务部门积极性，让业务部门主动推动。

结语

以上是我们多年数据标准化及数据治理项目中遇到的客户对数据标准化工作的6个比较典型的理解误区，在此基础上进行了解析和阐述，希望能给已经开展和将要开展数据标准化工作的战友们提供一些思路上的帮助。另外，本文所述数据标准主要还是针对传统数据，不包含大数据标准。对于数据标准化，不同的人有不同的理解，文中描述不准确的地方还请大家谅解和指正。由于篇幅原因，很多细节问题没有讨论到，有需要的也欢迎进一步沟通和交流。

作者简介

王少锋，数据治理咨询经理，数量经济学硕士。多年从事银行数据治理及数据标准化工作，先后负责银行、电网企业的数据治理项目，在数据治理体系规划、数据标准管理、数据质量管理等领域有着丰富的实战经验。

作者：王少锋 ​来源：御数坊