大数据资产管理平台实践（上）：定义、目标、挑战

背景介绍

随着信息经济发展，以大数据为代表的信息资源正在朝着生产要素的形态演进：

中共中央、国务院近日发布的 《关于构建更加完善的要素市场化配置体制机制的意见》，将数据纳入生产要素范围，明确加快培育数据要素市场；

今年的政府工作报告中也明确指出，需要培育技术和数据市场，激活各类要素潜能；

数据成为生产要素，是对其价值的充分肯定，对于数字经济的发展起到导向作用。但现阶段我国数据要素市场化配置尚处于起步阶段，仍需加强探索与完善。作为值得信赖的数据智能科技服务专家，联通大数据公司在数据要素市场化、数据资产管理等领域有了较丰富的沉淀，基于此，我们在今天的推送中，将公司在数据资产管理平台的设计、研发与运营方面的实践经验进行梳理，欢迎大家共同探讨、指正。

本文作者：尹正军，联通大数据公司高级架构师

写在开头的话

Q: 军哥，在新基建背景下，中央文件将数据纳入生产要素，有何深意?

A: 是这样的，主要是为了引导各类要素协同向先进生产力集聚，推动中国经济的高质量发展。当前，以大数据、云计算、人工智能、物联网、区块链为代表的数字科技能力已经渗透到各行各业，与各行业融合发展。在普惠民生的同时，也促进了社会治理整体水平的提升。比如，在此次疫情期间，电信运营商大数据所展现出来的价值就非常突出，由中国信通院联合三家运营商提供的通信大数据行程卡查询服务，在确保用户信息安全的前提下，为疫情防控、复工复产、道路通行、出入境等方面提供科学精准的技术支撑。还有像我们公司做的城市疫情预测仿真系统、疫情防控AI语音助手、疫情防控机器人以及联通健康U码等，都深刻的发挥出了数据要素的价值。

Q: 那么中央文件提到的数据要素市场化配置又是什么？我们又应该搞什么？

A: 好问题！可以说，数据要素的高效配置，是推动数字经济发展的关键一环。还是以疫情为例，通信运营商利用大数据画像助力疫情防控，医疗机构借助大数据、AI等新型数字科技能力，精准高效地开展疫情监测分析和病毒溯源等工作；科研人员利用云计算、大数据、AI等技术，加快病毒检测诊断、疫苗新药研发等；有了远程数字教育、远程数字医疗、网上订购等，人们才能安心宅家生活、学习、工作……数据作为新型生产要素，只有安全的流动、分享、加工处理才能创造更大价值。这里会涉及到企业级数据仓库、数据科学、数据治理、数据资产管理和数据中台的事情。

一

数据治理、数据中台、数据资产管理

Q: 我以前听说过数据治理和数据中台，你这里说的数据资产管理，有什么差异吗？

A: OK，你得先了解一下我们数据智能行业的发展趋势，数据库诞生超过40年了，上世纪九十年代初期，企业级数据仓库就已经落地了，那个时候就有数据治理管控的诉求了， 然后到了2012年，BigData开始广为人知，三年后，互联网巨头内部搞起了数据中台，最近一两年，业界又开始流行DataOps、LakeHouse、数据中枢、数据生产要素等新潮的概念……

Q: (打断) 等等，你讲得太复杂了，我没听过的新词太多了，有点晕…..

A: 好吧，这些东西看起来确实有点复杂，如果你想理解背后的区别，不妨再多花一点时间，让我透过下面两个视角给你分析分析。首先是从数据处理演进过程看，我们可以相对简化一下，在数据库阶段，一般只需要支撑单个业务系统，处理少量的数据（比如单张表的记录集，千万条以内），主要是解决OLTP（联机事务处理）场景的问题；到了数据仓库阶段，重点会聚焦在多业务数据整合分析与报表上面，主要是解决OLAP（联机分析处理）场景的问题；然后到了大数据平台上面，可以解决异构的数据集成问题，比如像非结构化的视频、音频、文本数据，直接导入大数据平台进行分析挖掘，这在数仓时代，相对比较麻烦，然后是数据中台，更强调统一数据服务接口，经过数据治理管控和资产化运营，给业务前端一线更快的响应、更好的赋能。

另外，就是从数据处理流水线视角看，无外乎是从数据接入、数据预处理、数据标准化、数据仓库分层加工、到数据开发共享端到端流程里面展开各项工作，或者说，从数据生产到数据消费的全链路上做事情，不管数据库、数据仓库、大数据平台、数据中台等概念如何发展，都不必要恐慌，因为围绕这个数据处理流程全链路的技术改进，永无止境，这个演进的内在本质一直都没有变过。

再回到你问的问题，关于数据资产管理与数据治理的区别，如果你有时间的话，建议你好好学习一下近十几年来业界所沉淀下来的领域知识，比如以DAMA为首提出的数据资产管理体系DMBOK、CMMI发布的DMM数据管理能力成熟度模型、国内的DCMM数据管理能力成熟度评估模型、以及信通院发布的数据资产管理实践白皮书，简单的说，从狭义角度看，你可以理解为，前者包含后者，只是多了数据开发共享、资产价值评估和运营相关的内容；关于数据资产管理与数据中台的区别，你可以理解为，后者包含前者，多了数据仓库工程建设和数据科学能力建设。如果从广义角度看，他们之间又没有什么太大的区别，目前数据中台相关的商业项目，有时候只是数据仓库统一平台的建设，数据资产管理平台的项目，有时候主体内容就是数据治理体系的建设。特别要说明的一点是，在企业内部建设实操过程中，通常会遵守康威定律，逐步推动数据治理、数据资产管理、数据中台相关系统工程的融合和边界协同，这里往往会基于实际的组织架构去分层分块的落地，而不是拘泥于行业规范和领域概念认知。

Q: 我貌似get到你的点了，但我还想多吐槽一句，大数据生态圈的新概念真是太多了…..

A: 是的，所以我们平时工作中，需要耗费不小的精力去跟团队同事、领导以及客户对齐一些概念，简单的说，这里面确实有技术的发展突破，也有一部分是市场化竞争的结果，比如有一部分确实属于IT咨询机构和相关软硬件解决方案企业包装出来的概念，没必要太较真，社会广泛传播所引发的讨论和思考，有时候就是一种进步。我们认可其在IT或DT域引领创新的价值，就可以了。总体而言，很像下面这张图：

我们的蓝图是，在企业级的数据工程项目中，不同的数据平台、不同的技术组件、不同的数据应用、不同的数据服务、不同的数据组织，可以像搭积木一样简单又高效的协同工作，而现状是，在不同的数据处理管道中，不同的组织和系统会彼此牵扯互相依赖，而困境就是，在一些关键场景中，我们的协作像摞石头一样，在接口衔接层面充满挑战。再进一步解释的话，就是在有一定数据体量和业务复杂度的数据组织中，往往存在很多的“深井”现象，这主要体现在数据产品经理、开发、测试、运维、运营、治理团队的协同关系上面，大家在各自领域内专业能力都非常强，但是面对互联需要合力的局面总有些力不从心，无法形成良好的沟通机制。

数据资产管理平台的定位，正是从技术工具和组织文化层面入手，通过标准化的治理管控和智能化的资产评估和运营体系，逐步改善企业IT水平、突破数据智能化转型的困境。

二

数据资产定义与数据资产管理平台愿景

Q: 你刚才说的好像很有道理，但是我还是不太明白，什么是数据资产？数据资产的表现形式是怎样的？数据资产管理平台究竟有什么价值？

A: 好问题！资产是一个财务概念，是指可被控制的，可被计量的，可带来经济利益的资源。从广义视角看，企业在生产经营中产生的信息及其载体都属于数据资产；从狭义视角看，数据资产指企业在生产经营中产生、且由企业拥有或控制的，预期会给企业带来经济利益的。我们通常沟通的时候，谈起数据资产，一般默认是指广义的概念。所以说，企业中各业务域和数据域在数据生产加工过程中所形成的数据沉淀及其载体都是数据资产，具体表现形式如下：

说到数据资产管理平台的价值，你可以这样理解，主要是在数据处理流水线各个环节，通过工具体系的支撑，让数据平台开发、数据平台运维、数据分析师、数据科学家、数据架构师、数据产品经理、数据应用开发工程师、数据业务负责人、数据治理专员等不同的数据组织角色更好的协同，在保障数据安全的前提下，做好数据资产评估与运营体系建设，实现高效数据流动与共享，最大化数据资产价值产出。

三

数据资产管理平台的目标

Q: 听你这么说，感觉这个平台的价值还挺大，随着数字经济的发展，数据要素市场化配置的逐步推进，未来每个公司，是不是都得必备一个数据资产管理平台？

A: 是的。不过，也不能盲目建设，需要结合行业属性和政府、企业信息化建设的要求，先把平台建设的目标想清楚，有一个经验，如果数据平台的规模较小，数据集成、数据分析、数据共享交换会成为数据资产管理平台建设的落脚点，等规模做大了以后，数据挖掘、数据治理实践和集群健康治理就成平台建设的突破口，再往后做，就是支撑数据能力开放平台和数据科学能力建设，以联通大数据公司为例，整个平台的数据体量巨大，且每天新增数据超过万亿条……

我们在内部做数据资产管理平台的目标，主要聚焦在以下五个方面：

(一) 充分保障数据资产化和资产服务化

Q: 数据怎么资产化？资产如何服务化？这个具体怎么理解呢？

A：其实，数据的采集、处理到利用并产生价值的过程就是数据资产化。数据资产的服务化，一般是指数据服务通过API接口形式提供出来，方便内外部租户共享交换。

(二) 积极推动数据驱动业务发展的落地

Q: 数据驱动业务发展，这个听上去很虚啊？

A：好吧，数据驱动业务，已经在搜索引擎、数字广告、推荐系统、数字营销、用户画像、金融风控等领域大规模变现了，在重点ToC的PC互联网和移动互联网应用方向取得了非常大的成效，这一点毋庸置疑。未来ToB的产业互联网和智能互联网时代，随着云计算、大数据、人工智能的融合发展，必将给很多传统行业的数字化转型带来新的突破，比如像制造和零售行业的全渠道营销、供应链预测、销量预测、工业设备表检、工艺参数智能优化、设备预测性维护、数字孪生等等，最后肯定会体现到数据驱动业务发展这个点上。作为数据中台的一大核心，数据资产管理平台将扮演重要角色

(三) 精益协同数仓建设与数据科学建模

Q: 如何实现精益协同？

A：首先，绝大部分企业的数据仓库建设团队和数据科学团队在组织上相对独立，但是都非常依赖产线系统环境的真实架构，这样的系统往往比较复杂，相关数据活动的参与和执行成本很高。精益协同主要体现在数据采集、存储、加工、分析等数据处理流水线各个环节上，数据资产管理平台可以极大的方便大家找数、用数、管数。

(四) 有效驱动数据中台工程化技术实践

Q: 数据资产管理平台跟数据中台的建设有什么关系？

A：在运营商领域，数据中台建设一般会包含以下三大块：数据仓库建设、数据科学能力建设、数据资产管理。其中数据科学能力建设离不开数据仓库建设（数据工程能力）的基石，其中数据资产管理包含了主流数据治理体系的建设。

(五) 全面支撑能力开放平台价值化运营

Q: 能力开放平台如何实现价值化运营？

A：首要任务是根据平台数据资源的特点，找准企业级客户，然后基于云化技术平台和数据资产管理平台，实现存储计算资源和数据资源的灵活租用，入驻租户可以利用平台资源和数据服务自由构建高价值的业务逻辑和商业模型。

四

数据资产管理平台的挑战

(一) 搭建数据仓库统一平台

(二) 实践数据平台治理管控

(三) 构建数据资产运营体系

基于数据处理流水线构建全流程数据治理体系：

基于数据平台应用栈构建DataOps运营能力体系：

（由于篇幅有限，本期推送着重介绍了关于数据资产管理平台建设的定义、目标和挑战，在下期推送中将会详述 数据资产管理平台设计、研发、运营干货，敬请持续关注！）