基于主数据系统的企业内部系统数据共享实践

随着社会的发展，数据已成为最重要的生产资源，是企业发展的宝贵财富。习总书记曾讲到，大数据是工业社会的“自由”资源，谁掌握了数据，谁就掌握了主动权。然而现实中企业在使用这些数据的时候,却发现数据散落在多个系统当中,无法互相印证、共享，导致数据使用效率低下。

为解决这个问题，笔者认为有两种途径。途径一：建设公司级系统，囊括现有各内部系统的功能，统一存储数据，企业级ERP系统就是代表。这个途径的优势是数据统一存储、信息整合、标准化及一致性强；劣势是数据系统耦合性强、数据来源单一、系统庞大复杂、更新升级不便、系统投资大。途径二：建立数据共享平台，将公司内重要数据共享至这一平台。各项数据经清洗、标准化、发布后形成公司级数据，交由其他系统使用。此种方式的代表是主数据系统（Master Data Management System）。这个途径的优势各业务系统解耦，总体系统架构灵活，性能和扩展性强；劣势是数据实时性不强、因存在多副本数据有一定冗余。

数据共享平台规划

某金融公司为了改变目前办公信息系统存在的内部数据管理方面的不足，为进一步实现大数据分析，进行了主数据管理系统的规划及实践（见图1）。

图1 数据共享平台

1.主数据系统的原理

企业主数据主要指企业核心业务对象以及对象之间关系，如客户、产品、组织和员工等。主数据管理的核心是从企业多个业务系统中提取整合最核心的、最需要共享的主数据，集中进行清洗和丰富，并以服务的方式将这些统一、完整和一致的主数据分发给各业务系统使用。

2.主数据系统设计

如图1所示，系统按分层结构进行规划设计,其中平台数据层实现对多来源的公共基础数据的构建和整合；主数据平台层实现数据整合的诸如认证授权、基础参数、异常处理等平台基础功能，同时实现核心从数据建模、整合、清洗、监管及共享端到端的主数据管理；基于数据共享平台的数据提供两种途径的数据服务，一是基于整合的主数据实现数据资源管理、专题数据分析等直接的数据分析服务；二是通过数据接口为其它业务系统提供主题数据服务。

（1）功能模块设计

核心的主数据系统的六大功能模块的具体设计如下。

主数据建模：提供主数据对象定义、编码规则定义、属性定义等功能。通过主数据对象定义确定主数据包含的具体字段信息，并根据编码规则、属性定义确定主数据字段类型、长度等，系统能够上述定义自动生成主数据在数据库中的独立存储结构，不同主数据分开独立存储。

主数据整合管理：提供主数据模型与周边对接业务系统的数据模型字段匹配关系定义，提供导入模板下载，提供初始化数据模版导入功能，提供导入接口，提供导入后按照主数据属性规则校验及维护确认功能。

数据清洗：对接入主数据系统的数据需首先进入缓冲区，缓冲区数据与正式数据需分开独立存储。系统需对进入缓冲区的数据根据预设规则进行自动清洗，并提示异常数据。进行规则设置时，系统需提供常规数据校验规则进行选择（诸如数据类型、字段长度、非空、正则表达式、数据有效范围等），也需要能够实现个性化扩展规则的后期植入。

数据管理人员也可以人工对导入缓冲区的数据进行人工清洗和调整。

数据监管：主数据变动由业务系统触发，变动信息需经过主数据管理系统审核后方能生效。系统提供主数据审核工作流流程的个性化配置功能。提供主数据版本管理功能，需记录主数据变动历史，可以查看历史版本数据，并可以恢复历史版本。

数据共享：主数据系统根据各业务系统订阅的字段范围进行信息发布，模式可以选择增量发布也可以全量发布，周期可以设置为定期、也可以实时。以上配置都可根据主数据类型及业务系统需求由主数据管理人员在系统中进行个性化配置。

主数据系统提供多种方式对外提供主数据服务，包括主动推送至对方系统数据库、通过Web Service推送至对方系统、提供Web Service接口供对方系统调用等方式。新增主数据、数据接口或接口修改均可通过页面配置完成，不需要重新开发。

（1）功能模块设计

核心的主数据系统的六大功能模块的具体设计如下。

主数据建模：提供主数据对象定义、编码规则定义、属性定义等功能。通过主数据对象定义确定主数据包含的具体字段信息，并根据编码规则、属性定义确定主数据字段类型、长度等，系统能够上述定义自动生成主数据在数据库中的独立存储结构，不同主数据分开独立存储。

主数据整合管理：提供主数据模型与周边对接业务系统的数据模型字段匹配关系定义，提供导入模板下载，提供初始化数据模版导入功能，提供导入接口，提供导入后按照主数据属性规则校验及维护确认功能。

数据清洗：对接入主数据系统的数据需首先进入缓冲区，缓冲区数据与正式数据需分开独立存储。系统需对进入缓冲区的数据根据预设规则进行自动清洗，并提示异常数据。进行规则设置时，系统需提供常规数据校验规则进行选择（诸如数据类型、字段长度、非空、正则表达式、数据有效范围等），也需要能够实现个性化扩展规则的后期植入。

数据管理人员也可以人工对导入缓冲区的数据进行人工清洗和调整。

数据监管：主数据变动由业务系统触发，变动信息需经过主数据管理系统审核后方能生效。系统提供主数据审核工作流流程的个性化配置功能。提供主数据版本管理功能，需记录主数据变动历史，可以查看历史版本数据，并可以恢复历史版本。

数据共享：主数据系统根据各业务系统订阅的字段范围进行信息发布，模式可以选择增量发布也可以全量发布，周期可以设置为定期、也可以实时。以上配置都可根据主数据类型及业务系统需求由主数据管理人员在系统中进行个性化配置。

主数据系统提供多种方式对外提供主数据服务，包括主动推送至对方系统数据库、通过Web Service推送至对方系统、提供Web Service接口供对方系统调用等方式。新增主数据、数据接口或接口修改均可通过页面配置完成，不需要重新开发。

图2 数据流概要示意图

模块功能设计：根据各功能模块实现的具体能力，分别进行设计，具体如以主数据建模为例，其主要设计内容如图3所示。

Convertlab 数据中台助力企业营销增长广告 · bix2RP

图3 模块功能设计总体流程

（3）物理架构设计

应用采用java语言开发，支持跨平台部署。同时考虑到与现有企业的运维运营高效一致，各节点采用主流Linux操作系统进行支持。系统采用应用、数据分离分布式部署方式。平台各节点既支持物理化部署，也可支持虚拟化部署，可根据系统数据量和平台访问量的不同进行动态资源扩容升级，能进一步提升资源的总体使用效率。

主数据管理在金融企业中的实践

基于上述规划方案建设的主数据系统实现了内部各业务系统的整合，完成了对人员、组织、部门、供应商、合同、区域、税务信息、资产、项目这6类主数据的实施；完成财务核算系统（EBS）、财务报账系统、人力资源系统、采购管理系统等相关系统的对接，实现了主数据从来源业务系统采集、整理并发布到目标业务系统的自动化过程，极大地提高了数据的端到端的数据一致性、数据共享价值和数据管理效能。