168大数据

标题: 数仓主数据概念及实施方案 [打印本页]
作者: 168主编    时间: 2020-12-12 21:20
标题: 数仓主数据概念及实施方案
目录


前言
企业主数据是用来描述企业核心业务实体的数据，比如客户、合作伙伴、员工、产品、物料单、账户等；它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。本文将针对主数据管理的概念以及主数据管理解决方案的实施等方面跟大家作一个探讨。

主数据和主数据管理的概念
企业主数据可以包括很多方面，除了常见的客户主数据之外，不同行业的客户还可能拥有其他各种类型的主数据，例如：对于电信行业客户而言，电信运营商提供的各种服务可以形成其产品主数据；对于航空业客户而言，航线、航班是其企业主数据的一种。对于某一个企业的不同业务部门，其主数据也不同，例如市场销售部门关心客户信息，产品研发部门关心产品编号、产品分类等产品信息，人事部门关心员工机构，部门层次关系等信息。
数据管理的范畴和主数据管理的概念图 1. 数据管理的范畴
　　
如图所示，企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。
主数据管理是指一整套的用于生成和维护企业主数据的规范、技术和方案，以保证主数据的完整性、一致性和准确性 ( “ The set of disciplines, technologies, and solutions used to create and maintain consistent, complete, contextual and accurate business data for all stakeholders (users, applications, data warehouses, processes, companies, trading partners, customers, etc.) across and beyond the enterprise ” ) 。主数据管理的典型应用有 Customer Data Integration —客户数据管理和 Product Information Integraiton —产品数据管理。
图 2. 主数据管理的信息流
一般来说，主数据管理系统从 IT 建设的角度而言都会是一个相对复杂的系统，它往往会和企业数据仓库 / 决策支持系统以及企业内的各个业务系统发生关系，技术实现上也会涉及到 ETL、EAI、EII 等多个方面，如图 2 所示，一个典型的主数据管理的信息流为：
因此对于主数据管理系统的建设，要从建设初期就考虑整体的平台框架和技术实现。
以客户主数据为例，常见的主数据域包括：
主数据有几个鲜明的特点，其中包括：它是准确的、集成的，其次它是跨业务部门的，再有就是它是在各个业务部门被重复使用的。
主数据管理的意义图 3. 主数据管理的要素
如图 3 所示：集成、共享、数据质量、数据治理是主数据管理的四大要素，主数据管理要做的就是从企业的多个业务系统中整合最核心的、最需要共享的数据（主数据），集中进行数据的清洗和丰富，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的操作型应用和分析型应用，包括各个业务系统、业务流程和决策支持系统等。
主数据管理使得企业能够集中化管理数据，在分散的系统间保证主数据的一致性，改进数据合规性、快速部署新应用、充分了解客户、加速推出新产品的速度。从 IT 建设的角度，主数据管理可以增强 IT 结构的灵活性，构建覆盖整个企业范围内的数据管理基础和相应规范，并且更灵活地适应企业业务需求的变化。
以客户主数据为例，客户主数据是目前企业级客户普遍面临的一个问题，在大多数企业中，客户信息通常分散于 CRM 等各个业务系统中，而每个业务系统中都只有客户信息的片断，即不完整的客户信息，但却缺乏企业级的完整、统一的单一客户视图，结果导致企业不能完全了解客户，无法协调统一的市场行为，导致客户满意度下降，市场份额减少。因此，建立客户主数据系统的目的在于：
主数据管理系统与数据仓库系统的关系
主数据管理系统与数据仓库系统是相辅相成的两个系统，但二者绝不是重复的，也不是互斥的。它们有很多共同之处：
但是，主数据管理系统和数据仓库 / 决策支持系统二者之间也存在很多不同：
虽然主数据管理系统和数据仓库系统异同共存，但是二者却有着紧密的联系，并且可以互为促进、互为补充。举例而言，数据仓库系统的分析结果可以作为衍生数据输入到 MDM 系统，从而使 MDM 系统能够更好地为操作型 CRM 系统服务。以航空公司为例，客户的主数据模型大致可以分为三部分：
首先包括客户基本信息和偏好信息。
除了这两部分之外，我们还可以从数据仓库系统中提取相关的信息，作为客户主数据的衍生信息部分，从而更好地、全方位地描述客户特征，这些可以包括：
主数据管理系统和 ODS 的关系
在某些情况下，主数据管理系统和 ODS 系统可能容易被混淆，的确，从实时上来看，主数据管理系统和 ODS 系统存储的都是实时数据，但是二者存储的数据内容是全然不同的，主数据管理系统中不存储交易数据，比如银行客户的交易流水信息是不应该放在主数据管理系统中进行管理的，这与 MDM 与 ODS 的一个很大区别。举一个航空公司的例子，比如某个客户在电子商务网站上定了一张机票，产生一个订单，然后他又通过呼叫中心要求改签，这个场景中，两个系统之间要实现客户信息和订单信息的共享，其中客户信息共享通过 MDM 系统来实现，而订单信息则需要采用 ODS 或其它手段进行共享，我们是不推荐把此类信息交由 MDM 系统来管理的。

主数据管理解决方案介绍
目前业界比较常见的主数据管理解决方案主要可以分为三类：
企业主数据管理系统逻辑架构
一个完整的主数据管理解决方案的逻辑架构应如下图所示：
图 4. 主数据管理系统逻辑架构
在一个完整的主数据管理解决方案中，除了主数据管理的核心服务组件之外通常还会涉及到企业元数据管理、企业信息集成、ETL、数据分析和数据仓库以及 EAI/ESB 等其他各种技术和服务组件。
其中主数据管理服务又包括如下一些主要的服务组件：
下面我们介绍两个这些逻辑组件之间的协作场景：
图 5. 场景 1-- 初始数据加载
场景 1：初始数据加载：
图 6. 场景 2-- 主数据库更新，然后同步到各业务系统
场景2：主数据库更新，然后同步到各业务系统

IBM 主数据管理解决方案
IBM 的主数据管理解决方案 InfoSphere Master Data Management 是 IBM 信息管理大家族的一员。
图 7. IBM InfoSphere MDM Server 产品构成
如上图所示，IBM MDM Server 包含：
使用 IBM 全套解决方案的主数据管理案例
以下是一个使用全套 IBM 软件解决方案的案例，这是一个典型的客户主数据管理的应用场景，其中使用的产品包括：WebSphere Portal Server，WebSphere MDM Server，WebSphere Enterprise Services Bus, WebSphere QualityStage, DB2 等。
图 9. 主数据管理应用案例
图 9 描述了一个主数据管理应用的端到端流程：
客户主数据系统实施方法论
客户主数据项目的本质是一个系统间针对客户信息的整合项目，根据以往的经验，大致分成基础实施、双向同步、多渠道访问、全企业采用等 4 个阶段，如下图所示：
图 10. 主数据系统实施步骤
基础实施阶段:
基础实施阶段为客户数据集成搭建了基础框架， 为企业提供了转向以客户为中心的能力和价值。后续的阶段主要是在此基础上推动全企业更多的应用和系统来使用这些价值，带来更多的业务增长。所以第一阶段的基础实施对企业来说是至关重要的，也是客户主数据管理项目能否带来业务价值的关键。
双向同步阶段:
全企业采用阶段:
小结
本文首先系统地介绍了主数据管理的概念，主数据管理系统和数据仓库、ODS（操作型数据存储）之间的区别，并且结合航空公司的需求，给出了航空业客户主数据的简单模型；在理解了主数据管理的基本概念之后，给出了主数据管理解决方案的逻辑框架以及 IBM 的主数据管理解决方案；最后跟大家分享了主数据管理项目实施的路径和方法。





欢迎光临 168大数据 (http://www.bi168.cn/) Powered by Discuz! X3.2