全球预见者分享平台、领先的数据科学社区媒体和职业发展平台

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
开启左侧

[中台建设] 数据中台的本质,终于有人说清楚了

[复制链接]
发表于 2019-5-15 17:11:42 | 显示全部楼层 |阅读模式
本帖最后由 168主编 于 2019-5-15 18:07 编辑

最近,到处都在说中台,被各种中台概念狂轰乱炸,有数据中台、业务中台、技术中台、AI中台、组织中台……笔者从各个渠道听过不同专家各式各样的说法,一时间被搞得云里雾里。带着各种疑问,笔者开始了数据中台的探索之旅,希望能够拨开云雾看清事实真相。


正本清源

数据中台的概念是阿里巴巴首次提出,是为了应对像双十一这样的业务高峰、应对大规模数据的线性可扩展问题、应对复杂业务系统的解耦问题,而在技术、组织架构等方面采取的一些变革,其本质上还是一个平台,阿里称之为“共享服务平台(Shared Platform as Service,SPAS)”。SPAS采用的是基于面向服务的架构SOA理念的 “去中心化”的服务架构,所有的服务都是以“点对点”的方式进行交互。阿里之所以选择“去中心化”的分布式服务架构,主要是考虑到扩展性。毕竟互联网公司的用户群体是整个互联网公众,首先要解决的就是系统的扩展性问题。因为一旦有更多的用户访问,平台若不能扩展,可能给平台带来灾难性的后果。


为什么在前台和后台之间增加一个中台?

在回答这个问题之前,我们回顾一下前台和后台的概念。前台是由各个应用组成的前端系统平台。前端系统直接触达用户,通过前台,企业与最终用户直接进行信息交互。例如,企业搭建的电子商务网站、门户网站、手机APP、微信公众号等都属于前台。后台是由各个业务管理系统组成的后端平台。每个后台业务系统管理了企业的一块业务,例如,财务系统、产品系统、客户管理系统、仓库物流管理系统等。基础设施、存储和计算平台作为企业的核心计算资源,也属于后台的一部分。

大多数企业的后台建设是为了满足各个业务管理的需求,所以多被称作管理信息系统。后台系统是为了解决企业管理的效率问题,并不是为了服务于前台。这类系统或是当年花大价钱外购,需要每年支付大量的服务费,并且版本老旧,定制化困难;又或是是花大价钱自建,年久失修,一身的补丁,同样变更困难;而且各个系统之间彼此相对独立,形成了一个一个“烟囱”,信息很难流通,即使系统间有集成,也只是两两系统之间做了接口,尽管有些企业建了数据中心和数据仓库,也仅仅是个集中存放数据的大数据库,形成了一个更大的“信息孤岛”。

所以,企业后台往往并不能很好地支撑前台快速创新响应用户的需求,而中台要解决的才是前台的创新问题


为什么中台能更好地支持前台创新?

中台链接了前台用户与后台核心资源,既可以将早已臃肿不堪的前台系统中的稳定通用业务能力“沉降”到中台层,为前台减肥,实施“大中台,小前台”战略,恢复前台的响应力,前台可以快速生成各种微应用;又可以将后台系统中需要频繁变化或是需要被前台直接使用的业务能力“提取”到中台层,赋予这些业务能力更强的灵活度和更低的变更成本,从而为前台提供更强大的“能力炮火”⽀援。

阿里数据中台里有什么?

阿里数据中台里面主要有两样东西(见下图1),一个是数据(包括垂直数据中心、公共数据中心和萃取数据中心),另一个是服务(数据服务中间件,对数据进行抽象包装整合)。数据是数据中台中很重要的一部分,数据中台提供企业级数据模型,从整体上统一数据架构,打破信息孤岛,解决数据冗余、不一致等问题。这一部分相当于企业数据仓库,负责将企业的数据统一建模和集中存储,提供可用的、高质量的数据。


2.webp.jpg

图1 阿里中台整体架构

数据中台提供三类服务:依赖接口的服务、依赖工具的服务和依赖数据的服务。在这三种服务中,笔者重点关注的是依赖于数据的服务,数据中台具有大数据分析能力,并将该能力通过接口服务等方式对外提供。这一点是数据中台与数仓的最大区别,数仓对外直接提供规整的数据分析能力,一般由BI工具或者大数据挖掘工具负责,而数据中台直接将数据封装成服务,以API等方式对外输出。数据中台原则上只提供通用的服务接口,个性化在业务层实现,简化上层业务使用,提升对业务需求的响应效率。


数据中台的本质什么?

从上面的介绍不难看出,数据中台最核心的是OneData体系。这个体系实质上是一个数据管理体系,包括全局数据仓库规划、数据规范定义、数据建模研发、数据连接萃取、数据运维监控、数据资产管理工具等。为了帮助您理解数据仓库和数据中台的区别,我们把两者做个对比,先看一下数据仓库架构。


1.webp.jpg

图2 数据仓库架构

数据仓库是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合,出于分析性报告和决策支持目的而创建。

数据中台是一个数据集成平台,它不仅仅是为数据分析挖掘而建,它更重要的功能是作为各个业务的数据源,为业务系统提供数据和计算服务。数据中台的本质就是“数据仓库+数据服务中间件”。

中台构建这种服务时是考虑到可复用性的,每个服务就像一块积木,可以随意组合,非常灵活,有些个性化的需求在前台解决,这样就避免了重复建设,既省时、省力,又省钱。


数据中台建设

围绕“规划、治理、整合、共享”四步,将企业海量、多维的数据资产盘点、整合、分析、确保整个公司数据一致性和可复用性,为前台提供数据资产、数据定制创新、数据监测与数据分析等服务,最终实现数据资产的价值最大化。

在具体建设策略方面,企业应基于自身的业务战略,选择明确数据资产对象,由业务或应用(需求)驱动,若没有实际的应用场景或没有足够的客户群体,不建议建数据中台。

阿里中台是如何运作的?

数据中台是一个协作平台,他是连接服务提供方和服务消费者的“在线市场”,把离线的服务能力在线化的过程,在这个过程中,数据中台只是提供服务共享的基础设施和服务治理的规范与工具。


3.webp.jpg

图3 数据中台运作模式

在这个“市场”当中,服务提供者享受到统一的应用服务管理带来的便捷;服务消费者享受到依赖服务化平台带来的开发效率的提升和服务质量的可靠性保证。

典型案例

淘宝和天猫有着各自的买家评价服务,但在防止刷屏的时候会使用相同的数据模型鉴别虚假评价。所以,即便业务场景不一样,但很多的基础数据模型及算法可以被重复使用服务。经过清晰的沉淀,算法可以通过重新编排、组合,成为服务接口响应业务的基本需求。由于具备快速编排、组合数据服务的能力,可以以较小的成本投入来构建出一个创新的前端业务。

京东将技术团队拆分为前台与中台,前台研发职能对接商城各事业部,中台研发则聚焦于解决共性需求,专注输出抽象程度高、可复用性高的组件化资源和技术能力包,用API(接口)形式支持前台研发。无论是京东内部的商品管理、订单管理、库存管理和门店管理,还是对外输出的技术能力,都是基于同一套技术中台系统。通过系统中不同组件的配置、组合和流程搭建满足不同的业态模式。任何人都可以调用京东的Open API,在任何地方都可以插入京东的商品,这样京东就可以做到“有流量的地方,就有京东的商品”。

总结

数据中台理论上是为大型企业大量的应用提供专业的服务。从本质上来讲数据中台是一种面向数据服务的架构(SOA),是数据仓库PLUS。由于电商的业务特性,阿里才选择了 “去中心化”的分布式服务架构,对于传统企业如果没有很大的客户群体,业务变化也不是特别大,笔者建议应该采用ESB来设计SOA解决方案。

概念并不重要,重要的是解决“创新驱动快速变化”的前台和“稳定可靠驱动变化周期相对较慢”的后台之间的⽭盾,重要的是支持用户为中心的持续规模化创新,重要的是想方设法持续提高企业对于⽤户的响应⼒。

现如今,“大中台、小前台”的思想已经成为了主流数字化转型思想。不仅互联网企业BATJ,几乎全部走上了数字中台战略,华为、海尔等企业也走了建设数据中台的道路。一个新的概念出现,很可能会有一些人跟风鼓吹,但是也要清醒的认识到,数据中台本身并没有什么新的技术或内容,只不过新瓶装旧酒而已,架构的搭建就像盖房子,你想建成洋房还是别墅是没有对错的,只要逻辑自洽就行,至于名字,您给它取个什么都是可以的

本人每当听到一个新的概念时,若和原有的认知有冲突,一定要想方设法搞明白,绝不人云亦云,更不会以讹传讹。以上论述仅代表个人观点,如有异议,欢迎一起切磋交流。


作者简介
李然辉,从事IT行业15年以上,其中拥有数据治理及数据资产管理7年从业经验,有丰富的数据战略规划、数据管理能力成熟度评估、数据治理体系搭建、数据标准管理、数据架构设计、数据仓库构建与数据应用等领域的理论和实践经验,近几年专注于数据资产管理和数据资产价值评估等领域领域,先后为政府、能源、生产制造、金融、互联网等行业提供服务。
来源:御数坊
楼主热帖
168大数据(www.bi168.cn)是国内首家系统性关注大数据科学与人工智能的社区媒体!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2019-6-19 01:22 , Processed in 0.137913 second(s), 21 queries , Xcache On.

Powered by BI168社区

© 2012-2014 海鸥科技

快速回复 返回顶部 返回列表