数据治理顶层设计是数据管理工作首当其冲的任务

作者：王建峰 来源：数据工匠俱乐部

导读

数据治理是企业进行治理数据的系统化工程，也是企业进行治理数据的主动行为。数据是企业运转和决策的基础，如果把信息系统比作人的血管网络，数据就是人体的血液，脏数据、垃圾数据多了，胆固醇、血脂就会高了，会出现“三高”，“三高”时间长了，没有得到有效治理，导致许多疾病，甚至威胁到人的生命。企业之所以进行数据治理也就是不让数据成为企业健康运转的隐患，不要因为数据不治而使企业危亡。

一数据管理遇到的挑战

企业在发展过程中积累了大量的客商、物料、设备、项目等数据和经验数据，利用这些数据发掘有价值的信息，已经成为企业普遍关心的问题。随着数据共享以及决策的需求，以及数据使用范围的扩大，在使用过程中发现了大量数据问题， 可以归纳为以下五类：

第一，定义缺失。缺少关键业务元素定义，导致对同一字段的理解偏差。例如：什么是“一个客户”，不同业务部门有不同理解：风险应用将组织机构号作为对公客户的“身份证”，一个组织机构号代表一个客户；核心系统对客户号的分配较为随意，允许一个组织机构号下存在多个客户号。

第二，信息缺失或不准确。在系统数据表中已经设计了相关字段，但使用过程中，很多记录没有收集该字段信息，或出现信息不准确、信息重复登记等情况。数据缺失情况通常以员工、客商信息最严重。

第三，系统间数据不一致。为满足各自系统内部逻辑，提高访问效率、减少数据传输，相同信息可能在不同系统进行冗余存放。但冗余存放的数据如果不进行同步或及时的数据维护，则必会导致冗余数据的不一致，例如普遍存在的核心系统组织机构代码与HR系统组织机构数据不一致的问题。

第四，数据生命周期问题。企业中的关键数据，例如物料、客户、产品信息等，都有若干日期字段记录其生命周期，例如创建/启动 日期，冻结/修改 日期，最后变更日期等，但是在业务系统中往往存在修改了记录状态，但未同步更新相关日期的情况。此外，还有一个违反合理数据生命周期的常见做法，就是直接物理删除记录。

第五，代码不一致问题。代码不统一问题，即不同应用之间相同用途代码的编码不一致；未代码化问题，常见情况是用文字存储，而非将信息代码化，很多时候会发现信息存储得不少，但不利于分析使用；意外代码，即实际数据中出现了未定义的代码值。

第六，缺少统一管理责任主体。没有明确各项主数据在企业的分级管理模式与相应的管理责任主体，各成员企业各自为政，自行维护，数据管理职责缺失，导致各类主数据存在多个系统中管理，数据重复维护等情况。

第七，缺少统一权威数据管理平台。缺少统一的数据标准化管理平台，相关各类主数据分散在不同的信息系统中自行管理，数据流向不清晰，无法固化数据标准，且信息获取时效性得不到保障。

                          

图1 企业常出现的数据问题

看似表面的数据问题其实会对业务带来严重的影响、数据不真实、不准确、数据不透明、不共享，增加其企业经营风险、增加管理难度和复杂度，跨组织信息共享程度低、资源难于整合。如何更好地管理和控制数据，做好数据标准化和服务体系建设，成为当前各企业迫在眉睫的任务。因此，笔者认为：制定数据治理顶层设计是数据治理的关键任务之一。

二数据治理顶层设计的主要内容

数据治理涉及到业务的梳理、标准的制定、数据的监控、数据的集成等工作，复杂度高、探索性强，在治理过程中出现偏离或失误的概率较大，如不能及时纠正，其影响将难以估计，这也往往导致数据治理成效不佳甚至彻底失败。因此在做数据治理时就要采用系统的方法和过程的方法做好数据治理顶层设计工作。数据治理顶层设计主要包括数据战略制定、数据治理体系、数据战略实施三个方面。

1数据战略制定

数据战路制定是建立数据的生产者、使用者、数据以及支撑系统之间的相互关联关系，建立企业全景数据视图，统领、协调各个层面的数据管理工作，提高数据管理规范和效率，确保企业内部各层级人员能够得到及时、准确的数据服务和支持。

2数据治理体系核心

数据治理体系是要涵盖数据资产目录、主数据管理、元数据管理、数据质量管理、数据标准管理、数据安全管理的数据生命周期管理等内容；数据治理体系可分为两个方面，一是数据质量核心领域，二是数据质量保障机制。

图2 制定数据治理体系

2.1 数据治理核心领域

为了有效管理信息资源，必须构建数据治理体系。数据治理体系包含数据治理组织、数据构架管理、主数据管理、数据质量管理、数据服务管理及数据安全管理内容，这些内容既有机结合，又相互支撑。

2.1.1 数据模型

数据模型是数据构架中重要一部分，包括概念数据模型和逻辑数据模型，是数据治理的关键。最优的数据模型应该具有非冗余、稳定、一致、易用等特征。逻辑数据模型能涵盖整个企业的业务范围，能清晰的记录跟踪企业重要数据元素及其变动，并利用它们之间各种可能的限制条件和关系来表达重要的业务规则。

（1）概念模型：是一种面向用户、面向客观世界的模型，主要用 来描述现实世界的概念化结构，与具体的数据库管理系统（DBMS，Database Management System）无关；

（2）逻辑模型：是一种面向数据库系统的模型，是具体的 DBMS所支持的数据模型，如网状数据模型、层次数据模型等；

（3）物理模型：是一种面向计算机物理表示的模型，描述了数据 在储存介质上的组织结构，它不但与具体的 DBMS 有关，而 且还与操作系统和硬件有关。

2.1.2 数据生命周期

数据生命周期管理主要包括数据查询、申请、校验、审批、配码、变更、分发、停用归档等数据的全生命周期管理，确定每条数据生命周期状态及其与业务系统的关系。

2.1.3 数据标准

数据治理对标准的需求可以划分为两类，即基础性标准和应用性标准。前者主要用于在不同系统间，形成信息的一致理解和统一的坐标参照系统，是信息汇集、交换以及应用的基础，包括数据分类与编码、数据字典、数字地图标准；后者是为平台功能发挥所涉及的各个环节，提供一定的标准规范，以保证信息的高效汇集和交换，包括元数据标准、数据交换技术规范、数据传输协议、数据质量标准等。

2.1.4 主数据

主数据管理要做的就是从各部门的多个业务系统中整合最核心的、最需要共享的数据（主数据），集中进行数据的管理，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据传送给企业内需要使用这些数据的操作型应用系统和分析型应用系统。因此对于主数据管理要考虑运用主数据管理系统实现，主数据管理系统的建设，要从建设初期就考虑整体的平台框架和技术实现。

2.1.5 数据质量

数据质量不高将影响数据仓库应用程度不高。低下的数据质量往往造成开发出来的系统与用户的预期大相径庭，数据质量关系建设有关分析型信息系统成败，同时数据资源是企业的战略资源，合理有效的使用正确的数据能指导企业做出正确的决策，提高综合竞争力。

数据质量管理包含对数据的绝对质量管理、过程质量管理。绝对质量即数据的真实性、完备性、自治性是数据本身应具有的属性。过程质量即使用质量、存储质量和传输质量，数据的使用质量是指数据被正确的使用。再正确的数据，如果被错误的使用，就不可能得出正确的结论。数据的存贮质量指数据被安全的存贮在适当的介质上。所谓存贮在适当的介质上是指当需要数据的时候能及时方便的取出。数据的传输质量是指数据在传输过程中的效率和正确性。

2.1.6 数据服务

数据服务管理是指针对内部积累多年的数据，研究如何能够充分利用这些数据，分析行业业务流程优化业务流程。数据使用的方式通常包括对数据的深度加工和分析，包括通过各种报表、工具来分析运营层面的问题，还包括通过数据挖掘等工具对数据进行深度加工，从而更好的管理者服务。通过建立统一的数据服务平台来满足针对跨部门、跨系统的数据应用。通过统一的数据服务平台来统一数据源，变多源为单源，加快数据流转速度，提升数据服务的效率。

2.1.7 数据安全

由于企业的重要且敏感信息大部分集中在应用系统中，数据安全更是至关重要。如何保障数据不被泄露和非法访问，是非常关键的问题。数据安全管理主要解决的就是数据在保存、使用和交换过程中的安全问题。主要体现在：数据使用的安全性、数据隐私问题、访问权限统一管理、审计和责任追究、制度及流程建立、应用系统权限的访问控制。

2.2 数据治理保障机制

2.2.1 制度体系

制度体系主要包括章程、管控办法和考核机制。数据治理章程类似于企业的公司条例。该章程阐明数据治理的主要目标、相关工作人员、职责、决策权利和度量标准。管控办法是基于规章制度与工具的结合，可落地的操作的办法。考核是是保障制度落实的根本，建立明确的考核制度，建立相应的针对数据治理方面的考核办法，并与个人绩效相关联。

图3 绩效考核体系

2.2.2 数据治理组织

数据治理组织包括组织机构、组织层次和组织职责。

有效的组织机构是项目成功的有力保证，为了达到项目预期目标，在项目开始之前对于组织机构及其责任分工做出规划是非常必要的。

图4 数据治理组织架构

数据治理委员会由企业的高层领导者组成。委员会定义数据治理愿景和目标；组织内跨业务部门和 IT部门进行协调；设置数据治理计划的总体方向；在发生策略分歧时进行协调。

数据治理工作组是执行数据治理计划。工作组负责监督数据管理员工作。数据治理工作组由数据治理委员会中各局领导主持。

每各业务部门有至少一位业务分析员，信息科技部门设置数据质量分析员、数据管理员、集成开发人员。各工作人员负责本部门数据的质量，履行职责，解决具体的问题。

根据数据管理工作的实际需要，在业务管理部门、技术管理部门和业务应用部门确定各类人员的职责。

2.2.3 流程管理

流程管理包括流程目标、流程任务、流程分级，根据数据治理的内容，建立相应流程，且遵循本单位数据治理的规则制度。实际操作中可结合所使用的数据治理工具，建立符合企业的流程管理。

2.2.4 IT技术应用

建立符合企业的数据管理系统平台，确保实现对各类数据的集中管理。同时满足各类数据管理的功能性和非功能性需求。数据管理平台包括数据标准管理、主数据管理、数据模型管理、资源目录管理、业务字典管理、编码管理、数据汇集分发管理、数据资源版本管理、数据质量管理、数据审批流程、数据安全管理和数据监控分析等。通过数据平台提高数据的质量（准确性和完整性），保证数据的安全性（保密性、完整性及可用性），实现数据管理的自动化、流程化、体系化，确保数据安全准确，实现基础数据的权威性、唯一性、准确性。

图5 数据管理平台

3战略实施

数据治理的实施，应规划项目里程碑，具备可控性，并对阶段性工作做出评估，总结经验、及时调整并对下一步工作做好准备。为确保项目实施的成功，应使用成熟的实施方法论。

图6 数据治理实施步骤

三数据体系顶层规划设计建议

1领导高度重视

明确数据治理顶层规划不仅仅是企业领导“一把手”工程，更是各级领导重点工程，各级领导应对数据治理顶层设计项目高度重视，进而确保项目能够顺利推行；定期召开工作会议，及时了解项目进展状况，并按实施阶段参与项目审查、评估；抽调业务骨干与管理负责人加入数据治理顶层设计项目组。

2业务全面配合

业务管理部门应积极配合项目实施，不应将数据治理项目单纯认为是IT技术实现，而应是一次业务管理上的革新；业务管理部门与信息化部门共同组成项目组，业务管理部门人员从未来业务开展与部门运营管理角度提出建议，协助实施团队开展业务需求分析，业务部门深度参与到详细的数据治理流程梳理与优化工作中，使优化后的流程满足业务管理部门业务执行要求。

3加强规范管理

对于数据治理体系应做到“统一领导、职责清晰、制度规范、流程优化”；企业的数据治理工作，应严格遵照企业统一制定的《数据治理规划》开展进行； 在制度建设与流程优化方面，由集团统一制定管理制度与流程规范，二三级企业贯彻执行，集团总部对执行情况定期进行考核。

总结

企业只有制定科学的数据战略，才能指导数据治理工作循序渐进，持续优化，达到“数以治用”的目标。