数据治理：提升数据质量的利器

文/闻春城 刘年波

NO. 1

引言

随着“大智移云链”等新技术的快速发展与深入应用，整个经济社会迎来了一场数字化的变革。银行业作为技术高度敏感的行业，历次重大技术创新都会对其运作模式产生深刻影响。近十年来，商业银行的IT系统数据量高速膨胀，这些海量的、散落在各处的异构数据导致数据资源的价值低、应用难度大等问题。加之外部数据难以自然地与内部数据进行有机融合，在这种背景下，数据治理成为商业银行无法回避的焦点话题。同时，监管机构对于商业银行数据治理的要求也在不断加码，银保监会于2018年5月21日正式发布的《银行业金融机构数据治理指引》就明确要求：商业银行应将数据治理工作纳入公司治理的范畴，并将数据治理情况与公司治理评价和监管评级挂钩。

数据治理工作

数据治理是专注于将数据作为企业的商业资产进行应用和管理的一套管理机制，能够消除数据的不一致性，建立规范的数据应用标准，提高组织数据质量，实现数据广泛共享，并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中，发挥数据资产的商业价值。同时，数据治理还有助于组织更好的遵循内外部有关数据使用和管理的监管法规，如SOX法案、Basel II协议等。良好的数据治理必将为信息化时代的企业带来不可替代的竞争优势。

商业银行在发展过程中积累了大量的客户、交易、账户、资产等方面的业务数据，如何利用这些数据发掘有价值的信息，已经成为商业银行普遍关注的问题。随着数据共享与决策的需求，以及数据使用范围的扩大，大量数据问题突显出来， 可以归纳为以下七类：

1 业务元素缺乏统一定义

2 信息缺失或不准确

3 系统间数据不一致

4 数据生命周期问题

5 代码不一致问题

6 缺少统一管理责任主体

7 缺少统一数据管理平台

数据治理核心

数据治理涵盖主数据管理、元数据管理、数据质量管理、数据标准管理、数据安全管理、数据生命周期管理等内容。为了有效管理信息资源，必须构建数据治理体系。数据治理体系包含数据模型、数据生命周期、数据标准、主数据、数据质量、数据服务、数据安全等内容，它们彼此有机结合，相互支撑。

数据模型空白

数据模型是数据架构中重要的一部分，包括概念数据模型、逻辑数据模型和物理数据模型，是数据治理的关键。数据模型应该具有非冗余、稳定、一致、易用等特征。

数据生命周期

数据生命周期管理主要包括数据创建、存储、查询、提取、备份、恢复、停用等环节，其基本过程如下：

数据标准空白

数据标准，是指对源数据（不含指标）的表达、格式及定义的一致约定，具体包括源数据的业务属性、技术属性和管理属性。数据治理对数据标准的需求可以划分为两类，即基础性标准和应用性标准。基础性标准包括数据分类与编码、数据字典、数字地图标准；应用性标准包括元数据标准、数据交换技术规范、数据传输协议、数据质量标准等。

主数据空白白

主数据是指多个业务系统中最核心的、最需要共享的数据。主数据可以集中存放，以服务的方式把统一的、完整的、准确的、具有权威性的主数据共享给需要使用的各类应用系统。

数据质量空白

数据质量管理是指通过技术、业务手段使数据符合业务规则、数据标准等要求，保障数据的完整性、准确性、及时性和一致性的活动。数据质量管理包括数据质量监测与分析、数据质量整改。

数据服务空白

数据服务管理是指研究利用内部积累多年的数据，分析行业业务流程和优化业务流程。通过建立统一的数据服务平台来满足针对跨部门、跨系统的数据应用，通过统一的数据服务平台来统一数据源，加快数据流转速度，提升数据服务的效率。

数据安全空白

数据安全管理是指对应用系统数据资产的保密性、完整性、可用性进行评估与整改的活动，其主要解决的就是数据在保存、使用和交换过程中的安全问题。主要体现在：数据使用的安全性、数据隐私问题、访问权限统一管理、审计和责任追究、制度及流程建立、应用系统权限的访问控制。

数据治理框架及流程

数据架构规划

数据架构规划是企业IT架构规划的重要环节，其主要目的：一是分析业务运作模式的本质，为未来核心应用系统的确定及分析不同应用系统间的关系提供依据；二是通过分析核心数据与业务之间的应用关系，分析规划应用系统间的集成关系；三是数据管理的需要，明确企业的核心业务数据，区分哪些数据是应用实施和运行时IT系统人员和管理人员应该关注的，需保证这些数据在企业层面一致性、完整性与准确性。

通过大数据治理，可以规划统一、标准的数据架构，为企业信息化建设提供规范和标准，使得在业务层和应用层之间，做各个操作型应用的设计、开发；在各个操作型应用和数据层之间，做业务系统数据结构的设计以及数据集成；在分析型应用和数据层之间，做数据获取、分析，从而指导和规范企业信息化建设。

数据治理流程

数据治理的流程分为发现、定义、应用、衡量与监测四个核心流程。

发现流程获取组织数据生命周期的当前状态、相关业务流程、组织及技术支持能力，以及数据本身的状态。

定义流程记录数据定义、与业务术语相关的业务背景、分类、关系以及实施数据治理工作必须定义的政策、规则、标准、流程以及考量策略。

应用流程的目标是执行数据治理，并确保数据治理与发现和定义流程阶段获取的所有数据治理政策、业务规则、管理流程、工作流程、跨职能角色及职责相符。

衡量和监测流程获取并衡量数据治理和管理工作的有效性及价值；监测是否与定义的政策和规则相符，有无异常；使数据资产及其生命周期透明并可审核。

数据治理思考

数据治理目标

商业银行数据治理的主要目标：一方面是有效管理和充分利用多元多维数据，另一方面是满足监管部门对数据管理与标准化工作要求。

数据治理难点

数据治理工作的难点主要体现在：

一是数据治理工作分工不明确，认识上存在偏差。数据治理对于商业银行来说不是一个技术问题，而是一个战略问题。

二是数据资产意识在提升，但是配套建设跟进不到位。

三是数据管理制度需要强化落实，各业务条线参与度需要加大。要统一数据口径，形成统一标准。

四是存量数据治理缺乏强有力的推动手段。

五是数据人才缺乏、缺少行业最佳实践也是当前数据治理难开展的原因。

数据治理原则

数据治理原则简单说主要是约束输入、规范输出和规范系统间数据标准。

约束输入：你永远想不到用户会输入哪些值，所以别给用户太多发挥的空间，做好约束工作——

>该用户填写的，系统必须设置为“必填”；

>值有固定选项的，一定用列表让用户选，别再手工输入；

>系统在录入提交时就做好检查，格式不对，值不在正常范围内，直接报错的情况必须让用户重新输入；

>设计录入表单时尽量原子化字段，比如上面说的地址，设计时就分成国家、省、市、区、详细地址等多个字段，避免事后拆分；

>录入数据保存的数据表也尽量统一，不要产生有大量相同数据的表，造成数据重复隐患。

规范输出：主要是统一语义，提供全行统一的语义字典（不是数据库的数据字典）。报告上的指标名称，都要在语义字典中备案，语义字典明确定义其统计口径和含义。不同统计口径的指标必须用不同的名词。如果发现一个词已经在语义字典中有了，就必须走流程申请注册一个新词到语义字典。

数据治理框架和组织

DAMA（国际数据管理协会）把企业的数据管理成熟度评估分为5个过程域和3个支撑流程。五大核心过程域是数据管理战略、数据治理、平台和架构、数据运营、数据质量，三个支撑过程域是数据标准、数据平台、数据应用。在商业银行实操过程中，绝大多数银行主要关注的是支撑过程域，即数据标准、数据平台和数据应用。

目前，虽然DAMA的数据管理成熟度评估并没有针对具体行业进行定制化，也不一定完全适用于金融业所有机构的现实情况。笔者认为应该从管理能力成熟度模型入手，对照自身业务和科技能力进行各过程域的梳理，有增减的制定符合自身机构现状的数据治理机制。

另外，金融机构开展数据治理工作可以以业务+科技部门组成的虚拟团队为主，如数据治理工作小组，目标是先形成规范的沟通机制。

数据标准和数据质量

数据标准化是数据治理过程中的一项主要活动。过去数据标准存在于各业务系统之中，导致计量口径不一致、数据标准认知偏差，导致跨部门沟通成本较大，同时对监管工作造成较大影响，对企业商誉也是损失。

数据治理中另外一项重要的核心过程域是数据质量管理。数据质量管理需要实现数据质量规则配置管理、问题管理、报告管理。同时加强数据质量日常监测功能，实现对纳入专题治理的数据问题的线上跟踪，提升数据规则和数据质量报告加工的运行性能；建立起数据消费部门和数据生产部门的沟通桥梁，确保数据使用部门可以有渠道提出问题，数据生产部门有平台发现问题，数据管理部门有平台跟踪和报告问题。

一般来说数据质量管理的流程是比较明确清晰的，但许多金融机构往往认为通过数据质量管理工具（像数据清洗、转换、稽核、报告工具软件）就可以达到管理过程要求，其实不然。数据质量应从定义数据质量需求入手，识别业务中的关键核心数据要素，判断数据属性对业务影响，定义数据错误导致的业务触发等等工作。在识别关键数据要素后，需定义统一的企业数据标准，并在系统设计中建立控制手段，在进行业务处理时遵循统一标准。最后，数据管理部门通过分析、评估整体数据质量情况，定义数据质量测量指标，评估这些数据质量对业务规则的影响及可接受程度的阈值，同时，数据管理部门针对监控数据问题应定期向企业高层领导汇报，推动解决数据质量问题。

总结与展望

我国商业银行的数据现状普遍是一个先污染、后治理的过程，数据治理必然会带来新标准的确立和旧系统的改造，是一个不破不立的过程。数据治理工作涉及面广、投入成本较高，持续时间较长，成果显现较慢，短期内会对银行业金融机构形成了一定的压力，不过，风物长宜放眼量，数据治理工作对有效管理数据资产、提升数据价值方面所发挥着不可估量的作用。目前，金融科技正在从大数据时代进入人工智能时代，在大数据时代是“得数据者得天下”，在人工智能时代是“得知识者得天下”，知识正成为比数据更重要的资产，而数据治理正是为“数据”转变为“知识”提供了重要支撑。

随着银保监会《银行业金融机构数据治理指引》的正式发布，商业银行需以指引为契机——

一是建立数据治理工作机制，以科技+业务双线轮动，切实落实数据治理职责，科技主要进行数据平台、数据应用等支持过程域，业务主要进行数据质量、数据运营、数据管理战略等核心过程域。

二是以监管数据质量要求为前提，建立监管数据质量管控制度以及相应的数据管理平台，持续提升数据质量。

三是建立数据资产的运维机制，将数据作为企业资产进行管理，逐步挖掘其潜在价值，将数据管理变成知识管理。四是加强数据资产的应用，建立数据挖掘和分析平台，方便业务人员利用客户、交易、账户、资产等数据。

互动小问题

各位看官、小伙伴们，假如你们对数据治理工作有任何见解、思路和建议，欢迎留言与我们互动，小编期待您的奇思妙想与真知灼见！

作者简介

闻春城

来自架构办总体架构组，曾先后参与个人投资、BoEing1-3期、PM-OS等项目的研发建设，目前从事中心级架构设计和架构管控工作，主要承担数据架构管理、架构规范编制、架构方法论研究等工作。

刘年波

研发中心架构办总体架构组，中心架构师，主要从事中心级数据架构设计和管控工作，现正在进行数据架构管理系统建设、企业级数据模型梳理等工作。

转自：我们的开心