马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
引言 在2017年,开始了解大数据平台并做了数据采集和BI展现工作,在2018年开始接触到企业数据中台的概念,在企业中开始负责数据仓库项目实施,从传统数据仓库转型到大数据平台的全历程,今年重新拾起数据中台的概念并做了系统梳理,整理了这篇笔记并分享给大家。 首先是国际惯例一、行业痛点及现状 现状 近年来,随着IT技术与大数据的不断发展,越来越多的企业将数据作为自身宝贵的资产进行长期保留。同时,微服务与分布式技术的不断发展,使得联机应用程序不再使用“烟囱式”方式构建,而是需要由众多原子服务组件在一个数据池中进行灵活的数据访问。这使得一些传统联机应用程序的历史数据包袱越来越重,灵活性大幅度下降,导致最终数据库不堪重负、应用整体性能低下。另一方面,随着大数据需求的不断增加,曾经已经归档的数据需要重新在线以满足在线化、实时化使用、查询和分析等等要求,这就要求将原有庞大的离线数据进行“在线化”与“服务化”。这些需求使得数据中台系统成为各大企业IT建设与投入的方向。 六个痛点
首先数据中台是一种方法论,是数据资料转化为服务内容的一种宏观论点二、解决方案
01. ODS区 ODS层是数据接入的同步层,它源于各个业务系统,同时面向后续的数据清洗和加工,提供了最初的数据统一接入(数据准备区),涉及到离线数据和(准)实时数据。 02. 贴源数据存储区 贴源数据存储区存放的是用户的明细数据与原始未加工数据。一般来说, 贴源数据存储区中的数据结构与内容和原始业务系统保持一致,用户也可以将该区域用于数据的在线归档服务。 03. 数据加工调度区 数据加工调度区则是将贴源数据进行清洗加工,形成可以直接面向对外联机应用的数据结构。随着应用程序不断迭代变化,数据加工调度区作为原始明细数据与对外应用数据之间的桥梁,屏蔽了外部应用与企业内部数据结构之间的差异,弱化了应用之间数据交换的壁垒。 04. 对外服务区 对外服务区则是应用程序真实访问的业务数据。针对应用程序类型的不同,对外服务区可以分为历史明细查询区、自由查询区以及在线服务区。 04.01. 历史明细查询区 历史明细查询区可以作为视图映射接口,直接将外部应用对接到创建了合适索引的历史明细数据,使得外部应用直接对海量历史明细数据进行访问。同时,对于一些需要简单加工的明细数据,也可以通过数据加工调度区的梳理后独立存放访问。 04.02. 自由查询区 自由查询区主要面对类似审计后督、自助报表等非固定查询业务。一般来说,提供给自由查询服务的数据往往未经过复杂的数据加工,允许应用直接访问部分原始数据。 04.03. 在线服务区 在线服务区则提供T+0(准)实时的数据访问能力,其数据源往往直接对接ODS层的(准)实时数据同步服务,使得应用程序通过数据中台(准)实时地访问联机业务系统中的最新数据。 三、实施过程 01. 数据融合化 实现全域数据采集,对企业内各种应用 系统和企业外部的各种关联系统的海量 数据进行信息采集、计算、加工;统一 数据标准和质量,形成企业特有的数据 标准,实现数据的融合管理。 02. 数据资产化 深度挖掘企业数据,实现数据涉及到的 相关业务逻辑、算法模型的抽象,最终 构建企业的数据资产。 03. 数据服务化 定义核心数据类服务,实现企业的数据 服务应用中心;对前端业务提供灵活、 可调度的、微服务化的数据服务支撑, 同时满足后端管理系统所需要的稳定的、 可持续的数据交互管理诉求。 四、应用、场景和技术框架 01. 应用框架
02. 场景化应用
03. 技术框架
|