关于数据中台建设之思考

引言

在2017年，开始了解大数据平台并做了数据采集和BI展现工作，在2018年开始接触到企业数据中台的概念，在企业中开始负责数据仓库项目实施，从传统数据仓库转型到大数据平台的全历程，今年重新拾起数据中台的概念并做了系统梳理，整理了这篇笔记并分享给大家。

首先是国际惯例一、行业痛点及现状

现状

近年来，随着IT技术与大数据的不断发展，越来越多的企业将数据作为自身宝贵的资产进行长期保留。同时，微服务与分布式技术的不断发展，使得联机应用程序不再使用“烟囱式”方式构建，而是需要由众多原子服务组件在一个数据池中进行灵活的数据访问。这使得一些传统联机应用程序的历史数据包袱越来越重，灵活性大幅度下降，导致最终数据库不堪重负、应用整体性能低下。另一方面，随着大数据需求的不断增加，曾经已经归档的数据需要重新在线以满足在线化、实时化使用、查询和分析等等要求，这就要求将原有庞大的离线数据进行“在线化”与“服务化”。这些需求使得数据中台系统成为各大企业IT建设与投入的方向。

六个痛点

首先数据中台是一种方法论，是数据资料转化为服务内容的一种宏观论点二、解决方案

01.

ODS区

ODS层是数据接入的同步层，它源于各个业务系统，同时面向后续的数据清洗和加工，提供了最初的数据统一接入（数据准备区），涉及到离线数据和（准）实时数据。

02.

贴源数据存储区

贴源数据存储区存放的是用户的明细数据与原始未加工数据。一般来说， 贴源数据存储区中的数据结构与内容和原始业务系统保持一致，用户也可以将该区域用于数据的在线归档服务。

03.

数据加工调度区

数据加工调度区则是将贴源数据进行清洗加工，形成可以直接面向对外联机应用的数据结构。随着应用程序不断迭代变化，数据加工调度区作为原始明细数据与对外应用数据之间的桥梁，屏蔽了外部应用与企业内部数据结构之间的差异，弱化了应用之间数据交换的壁垒。

04.

对外服务区

对外服务区则是应用程序真实访问的业务数据。针对应用程序类型的不同，对外服务区可以分为历史明细查询区、自由查询区以及在线服务区。

04.01.

历史明细查询区

历史明细查询区可以作为视图映射接口，直接将外部应用对接到创建了合适索引的历史明细数据，使得外部应用直接对海量历史明细数据进行访问。同时，对于一些需要简单加工的明细数据，也可以通过数据加工调度区的梳理后独立存放访问。

04.02.

自由查询区

自由查询区主要面对类似审计后督、自助报表等非固定查询业务。一般来说，提供给自由查询服务的数据往往未经过复杂的数据加工，允许应用直接访问部分原始数据。

04.03.

在线服务区

在线服务区则提供T+0（准）实时的数据访问能力，其数据源往往直接对接ODS层的（准）实时数据同步服务，使得应用程序通过数据中台（准）实时地访问联机业务系统中的最新数据。

三、实施过程

01.

数据融合化

实现全域数据采集，对企业内各种应用 系统和企业外部的各种关联系统的海量 数据进行信息采集、计算、加工；统一 数据标准和质量，形成企业特有的数据 标准，实现数据的融合管理。

02.

数据资产化

深度挖掘企业数据，实现数据涉及到的 相关业务逻辑、算法模型的抽象，最终 构建企业的数据资产。

03.

数据服务化

定义核心数据类服务，实现企业的数据 服务应用中心；对前端业务提供灵活、 可调度的、微服务化的数据服务支撑， 同时满足后端管理系统所需要的稳定的、 可持续的数据交互管理诉求。

四、应用、场景和技术框架

01.

应用框架

02.

场景化应用

03.

技术框架