数据中台典型实战案例剖析

1超大型多业态集团性企业的数据中台建设

关键词：

40多家公司

5个不同业态

信息化水平参差不齐

数据标准缺失、数据质量差

公司背景：这个企业是一个以物流为核心产业的多业态集团，它的传统业务物流、仓储、机场、货运还有通关报关进出口贸易这五大业态，其中供应链是他们希望整合的业务。

业务目标：

• 半年内完成集团业务整合；
• 一年内打通多业态业务；
• 上线整合型产品。
  
  

实施原则：

    数据为先：

    利用户数集成整合业务，数据探索推动创新。

三步走策略：

• 数据资产梳理；
• 数据共享开放；
• 数据场景创新。
  
  

    这是我们在2017年成功实施的项目，这种案例并不常见的，因为很少有企业具备这样的多业态的整合需求，和整合的魄力。

    这40多家公司的企业信息化水平参差不齐，有的子公司已经有了比较好的信息化建设，核心的数据在数据仓库里面，有的子公司甚至还以excel和纸质文件为主。这种情况下的企业数据标准是缺失的，数据质量根本就谈不上了，所以他们希望通过用户、订单和支付这三个核心的数据整合，构建出新的产品业态，做到物流行业端到端的服务。

    比如：把生鲜从澳洲空运到国内，从选货到本地的采购，澳洲本地的运输，跨境的电商，跨境贸易到国内，然后再从通关、报关、物流最后快递运输到消费者手上。

    说起来它是比较清晰的，但做起来是非常复杂的。因为这些企业是不同的公司，他们的客户是完全独立的，所以如何在半年之内时间内完成集团业务的整合，这个是难度非常大的。

    当时我们给他们做整体的数字化转型，我们深刻地意识到，如果用传统的IT规划或者转型方式去做，光是组织结构的变化，流程制度的梳理，就会非常的缓慢。

    当时我在西安给这个企业做了两天数字化转型的培训，企业的高层、首席信息官，首席创新官全部来参加了，一起拉通了企业的愿景，制定了整个转型的方案，围绕数据用数据去集成整合业务，用数据从数据当中去探索，这么整合型后的新产品在哪里。

    我们制定了三步走的策略，如果从流程层面来走的话，那么流程是围绕着这个岗位的，是围绕着你的业务的目标的，它是有一些线下的复杂因素在里面。但是数据本身它是非常客观的，而且它是有相互依赖的关系，所以数据是打通整合业务的很好的方法，那么如何去集成数据呢？

    请大家注意这里的数据资产的梳理，它不仅仅是原系统的数据，我们认为企业二次加工过的数据集、数据应用、数据报表，都是数据资产。

梳理数据资产的第一件事情是构建数据资产目录

它是一个抽象过的，同一个业务域的数据资产的一个目录一个结构。那么这个数据资产目录的一个节点，它可以挂接多个数据源，梳理数据资产目录的过程，我们不用去真实的去看数据，它实际上是一个物理业务在数据世界里的建模。

举例：这种企业的物流业务，它可能有多家公司都在做同样的业务，有多个地区的公司、多个不同的主干物流和支线物流，它是不同的数据集。

就是说去看这些企业、业态，他们现在都有什么数据？这些数据在哪里？这些数据质量如何？然后在这个基础之上，我们把构建了一个数据资产平台，然后把一些优质的数据（当时这个企业数据质量比较好的是物流和货运，有一定的基础数据）挂接到数据资产平台。

这种情况下，我们同时帮助客户企业构建了数据共享的数据门户，他们的业务人员可以在数据工具里面快速的发现找到定位浏览，快速的用他们熟悉的工具去探索数据。

我们把数据用户分为两类：

（1）业务用户

他们不具备使用数据仓库、数据报表这样的能力，他们只熟悉常用的拖拽式数据工具，他们不会使用复杂的工具，比如说有的可能只熟悉excel。

（2）具备高级数据分析的用户

这样的平台里面，他们跟数据资产直接挂钩，同时跟授权挂钩，他们是不是能够返使用这些数据？

授权所有的东西议题都会被记录。那么当他们探索这些数据发现了有价值的数据集，发现了有意义的数据创新的时候（这就是所讲的数据场景创新），它就可以快速的把这些数据及数据价值发布成服务，然后这些服务可以快速地提供给业务用户和业务系统去使用。

举例：这个项目在机场货运端有一个场景，货物分类都是由人工去标注的。但我们的工作人员它不是万能的百科全书，它有的时候去标注货物类型的时候也不准确，而且非常的不规范。比如多一个字，少一个字，错别字。

但如果你的数据归类不规范，就很容易造成你的货物在检验和收纳带来隐患，比如说把不应该放在一起的货物放在了一起，把一些对时效性要求比较高的货物安排到了时效性比较差的序列里面去。

为了解决这样的问题，我们通过数据探索发现了一个很有用的办法，然后结合数据中台。当时我们这里面有nlp自然语言处理的技术，用这样的算法做了一件事情，自动识别和优化文字标签。我们把网上一些公开的没有版权的分类信息构建成一个模型，然后当人工去输入的时候，会通过这个模型去对标签进行优化。

我们在开发这个平台的同时，还配有专门的数据运营小组。这个小组要不断的去分析这些数据，然后发现一些有价值的场景和有价值的数据集，然后把数据通过数据中台去发布成服务。（我们当时不管它叫数据中台，而是叫数据资产创新平台。）

所以当时通过这三步数据资产的梳理构建，数据的共享开放以及数据探索服务数据工具的整合，到最后提供了一个方便快捷完整全集成的数据服务的数据场景的探索平台。然后这些数据场景和数据能够快速的发布成服务，让别人去使用。

当时我们把所有的不同公司的这些交易进行集成，围绕用户进行集成，我们就知道同类型的物流订单，以及所有的支付记录数据。所以通过这样的一个数据资产平台说，打通了用户订单和支付构建了新的产品。

通过这样的案例，我们总结了六点启发：

（1）不存在完美的数据基础，数据思维要从最早建立（Data first）

因为它有40多家公司，我们要从子公司里面去拿数据，然后很多都说我们没有数据、数据质量很差并没什么用。所以在最早期建设应用的时候，你要从数据的视角去思考，数据思维要尽早的去建立。

（2）数据战略和规划是非常重要的（Think Big）

当时我们把企业的业态重要数据资产结构梳理出来了，这样的话，当你有新的并购、新业务，不会距离你最早的数据资产的规划有很大的差异，这就避免了数据孤岛的发生。

（3）从业务场景出发，围绕业务进行建设（来自业务，高于业务）

数据中台的建设要从业务场景出发，你要从业务场景出发，要找到具体的场景，当你建设的时候你不能只针对一个场景，你要把它的场景抽象出来，要抽象它的共性，要抽象那些跨场景的需求，你才能支持未来更多的场景。

（4）数据结构的共享和开放是数据应用的基础（数据资产目录）

（5）快速的数据服务构建和消费

这个数据在原来是给人看的，那么数据中台建设以后，数据是给系统用的，从人机接口到机器与机器之间的接口，这就是Data API最大的价值。

（6）持续的数据运营是数据中台项目成功的关键

当时这个企业的领导是承担了很大的压力的，那么我们如何去推动、化解这样的压力，我们成立了一个数据运营部，在没有数据的时候，在数据平台建设还没开始的时候，我们就把数据运营部成立了，然后由数据运营部去做数据战略的规划。

当数据平台建设的过程当中，已经有采集了一些数据，那么就让数据运营部发现数据的价值，然后每个礼拜每个月给集团的领导做汇报，让他们看到你这样一个技术性的平台，在建设的过程中已经解决了一些实际的技术问题。

后来他们开会已经不需要PPT、excel了，每次打开我们的数据资产创新平台，每一个数据故事对应到他们开会时的一个主题，而且这些数据是实时的，这个很有意思。

所以一定要有持续的数据运营，边建设，边运营，边建设平台，边发现价值，只有这样，你的数据平台类这种技术类型的项目才能得到业务和领导的支持，才能让大家看到价值，才能不被质疑你的投资花到哪里去了。

02 零售型企业数据中台建设

背景关键词：

全球企业

无本地IT能力

无数据平台

有大量数据分析、应用需求

公司背景：这是个全球化的企业，它的信息化都是全球的系统，要从总部的SPA拿数据回来很麻烦，但中国的业务他们需要做连接设备和客户的IT系统，他们有大量的数据分析和应用的需求，不知道怎么去落地。

业务目标：

• 跨数据业务共享；
• 建立数据应用和决策能力；
• 整合行业数据。
  
  
  数据原则：业务价值优先：数据服务优先，数据平台随后。
  

三步走：

• 数据价值探索；
• 数据资产盘点；
• 数据服务构建。
  
  

它是一个销售型的企业，它是B to B to C的这种模式，领导非常有远见卓识，找了一堆做excel分析的表哥表姐，然后每天去做各种报表，各种数据的分析，他们有大概二十几张非常复杂的表，不同的部门有不同的表，但这些表之间不拉通，表的含义只有各个部门自己才能理解。

他每天做的不亦乐乎，但是当业务越来越竞争越来越激烈的时候，让他们控制越来越高的时候，他们就面临着巨大的数据分析的需求，他们希望跨业务要共享，需要建立数据应用和决策的能力。但当时他们的IT预算有限，都是从各部门里挤出的一笔钱，希望整合一些行业的数据。

在最早他们根本不知道产品通过渠道商卖给了哪些门店和哪些消费者，相当于闭着眼睛卖东西，但是当互联网企业介入后竞争强烈，他们还不能了解这些情况的话，他们的业务就抓瞎了，可以说失去了洞察能力。

所以数据的分析整合拉通变成了他们巨大的诉求，但通过几轮交流，我们发现像他们这种情况不适合去做一个大而全的平台。

（1）预算有限

把预算花没了这种情况下，它就没有办法产生业务价值。

（2）业务场景并不清晰

当你一旦做一个大大而全的平台，你很难产生去找到对应的场景去解决问题。

所以当时我们给他的建设策略是说，我们先不要着急去建平台，你有excel，我们就拿excel作为数据。

第一件事先做数据价值探索，我们把很多部门整合在一起，去分析他们的数据需求，从数据当中得到价值，再通过我们原创的数据探索的方法论，把这些数据价值场景进行了排序，找出优先级最高的场景，然后我们针对这些场景去进行数据资产的盘点，再构建数据服务。

我们以业务应用、数据应用去立项目，我们在构建数据应用的时候，就把平台能力和应用能力分开了，这样的话我们的应用在不断的升级的时候，我们的平台也在不断的完善。

通过这样的案例，我们总结了五点启发：

（1）没有数据平台，没有数据仓库，甚至没有业务数据库，也可以做数据服务

哪怕只是excel，都能完善后台的服务。

（2）业务价值要尽快的展现出来，否则你会失去业务的支持

业务部门要有对应数据的接口人和业务需求人参加到这个项目组里面来。

（3）内外部数据整合的重要性，建立企业自己的用户画像库

（4）持续的数据运营需要耐心（这个特别重要）

（5）前期的时候要考虑数据的利用，数据的规划和全景蓝图

你不能只盯着一个场景，一定要把多个业务场景都识别出来，哪怕这些场景现在还不具备实施的可能性，但是你要把它识别出来。只有这样，你才能在早期就把这个数据的大的框架，数据的利用之间的关系，应用之间的数据调用的关系，都梳理出来，有一个大的全景图，避免未来建设的时候的数据孤岛。

总结

最后我们来总结一下这样两个数据中台的案例的特点以及和的实践方法。

我们会发现一个很有意思的事情，在这样数据类的项目和传统的应用开发类的项目有很大的区别。这里面我做了三个词的总结，一个是大型的这种建设，我们会发现是从规划战略及出发；一个是这种按需的业务有需求。

我们首创的数据中台项目构建的方法论：

Lean Data Discovery

• 业务价值：做数据中台一定要来自于业务价值，来自于业务场景，但是要高于业务场景。
• 数据价值链：数据中台的原元数据本身就是各个系统的原数据，但最终的展示形式之间要构建一个数据价值链（我们术语叫数据通道），就是把多个数据集、原数据通过加工整合处理，最后变成一个价值链。
  
  
  
  
• 按需服务：用户要用，由他主动调用，中台按需提供服务，减少浪费，同时所有行为可分析可追溯
  
  
  
  
• 持续运营：我们要知道报表被哪些用户使用了多少次，然后他看了这个报表以后，要看的下一张报表是什么？这样一些用户行为习惯也是要被分析探索被加工被识别被利用的。
  
  

当然通过这样的方法论，我们去可以构建企业自己的数据创新地图：所有的数据应用到产生价值的重要的因素，有场景，有技术，缺一不可。我们要找到既有业务价值，有数据，又有技术的这样场景，然后优先去建设。

所以，采用精益数据方法，能够达到这样的效果，那就是从业务价值出发，从业务场景开始，但是高于单个业务场景，快速上线，持续优化运营。

​来源：BangTalk