最具影响力的数字化技术在线社区

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
打印 上一主题 下一主题
开启左侧

听说过阿里云的数据中台系统吗?大数据的核心精髓其实就在于此!

[复制链接]
跳转到指定楼层
楼主
发表于 2019-3-13 22:14:06 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

相信在大数据行当里闯的各位同仁对阿里云并不陌生,而研究阿里大数据架构的技术专家们,显然或多或少会知道阿里中台系统,那今天咱就聊聊阿里中台(OneData)的能力演进与整体优劣。

借别人之观点:

广义的数据中台包括了数据技术,比如对海量数据进行采集、计算、存储、加工的一系列技术集合,对于大多企业,这些能力是能够买到的,因此无所谓积淀,要积淀大多也是别人的积淀,而不是企业的,当然自主研发的除外,比如阿里的ODPS等。

除此之外,数据中台能力可能不仅于此,可能还包括数据模型、算法服务、数据产品、数据管理等,这些服务跟企业的业务有较强的关联性,是这个企业独有的且能复用的。比如企业自建的2000个基础模型,300个融合模型,5万个标签,这些就是数据中台的延伸能力,它是企业业务和数据的沉淀,其不仅能降低重复建设,减少烟囱式协作的成本,也是差异化竞争优势所在。

在以这些内容为背景的前提下,我们就知道了所谓中台的核心能力,其实就是数据模型。数据模型是面向业务支撑的底座能力,模型的设计不仅是一门学问更是一门艺术,所以我们看阿里中台系统的模型构架,它包括了ODS层、CDM层和ADS层。

ODS层是数据接入的同步层,它源于各个业务系统,同时面向后续的数据清洗和加工,提供了最初的数据统一接入(数据准备区),涉及到离线数据和(准)实时数据。阿里ODS层设计包含了三个特性:其一是数据同步功能,支持结构化数据增量或全量同步到ODPS;其二是实现全结构化数据转换,能够将非结构化数据(如日志)进行结构化处理后再存储;其三是支持历史数据的积累和清洗,能根据数据业务需求及稽核审计要求保存信息。

CDM层算是中间层了,它包括DWD明细数据存储和DWS公共汇总数据集合,并以维度模型方法为基础,提升公共指标的复用性,减少重复的加工。包括事务型事实宽表、周期性事实宽表、累计快照事实宽表等,同时还支持面向主题域的公共汇总模型。CDM支持个性化分析与自助取数、支持面向应用的数据同步,可以说是数据仓库核心之能力。

ADS层是面向应用和集市的上层能力,它支持个性化指标加工和基于应用的数据组装。


阿里数据中台之OneData也并非是“一次成型”的,它经历了三个阶段的能力演进。

第一阶段:完全应用驱动的时代。这个时期主要将数据以与源结构相同的方式同步到Oracle,那时候的数据架构只有两层ODS+DSS,严格说来基本只有一个ODS层,也基本没有模型方法体系。在这个时期阿里遇到了严重挑战,意识到需要科学规划数据架构。具体包括:数据标准不统一、服务业务能力受限、计算存储负担严重、研发成本高且重复开发的问题;

第二阶段:随着阿里业务的快速发展,数据量也在飞速增长,性能已经是一个较大问题,希望通过一些模型技术改变烟囱式的开发模型,消除一些冗余,提升数据的一致性,所以阿里引入了Greenplum。初步构建数据分层架构,改变烟囱式的开发模式,消除数据冗余并提升数据一致性。在最核心的基础数据层,希望采用工程领域主流的ER模型但遭遇到比较大的困难,主要体现在:互联网业务的快速发展,人员的快速迭代变化,业务知识功底的不够全面导致ER模型设计迟迟不能产出;

第三阶段:引入以hadoop为代表的分布式存储计算平台,确立第三代模型架构(OneData),核心CDM层都采用多维模型。选择了以Kimball维度建模为核心理念的模型方法论,同时对其进行了一定的升级和扩展,构建了阿里集团的数据架构体系。

读到这里,相信对阿里数据中台已经有了一定深入的理解。自然而然的,我们就要说说其整体优劣。

优点:

伴随着业务考验, OneData并非一蹴而就,循序渐进是阶段性演进成果;

既具备开源开放的体系架构,又参考数仓之父Kimball的理念精髓;

是大型企业数据架构的核心参考,因此具备成熟性、先进性和推广性;

缺点:

OneData数据架构并非适用简单业务或小型企业;

架构设计复杂,需要大量经验积累,以堆叠、论证或迭代方式构建;

作为大型企业的架构级能力支撑,OnaData与数据质量、指标体系等其他因素关系密切,必须同步发展;

这是今天分享的主题。

分析世界讲方案,为您带来精彩的一页。


楼主热帖
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 转播转播 分享分享 分享淘帖 赞 踩

168大数据 - 论坛版权1.本主题所有言论和图片纯属网友个人见解,与本站立场无关
2.本站所有主题由网友自行投稿发布。若为首发或独家,该帖子作者与168大数据享有帖子相关版权。
3.其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和168大数据的同意,并添加本文出处。
4.本站所收集的部分公开资料来源于网络,转载目的在于传递价值及用于交流学习,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。
5.任何通过此网页连接而得到的资讯、产品及服务,本站概不负责,亦不负任何法律责任。
6.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源,若标注有误或遗漏而侵犯到任何版权问题,请尽快告知,本站将及时删除。
7.168大数据管理员和版主有权不事先通知发贴者而删除本文。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2024-5-8 04:54

Powered by BI168大数据社区

© 2012-2014 168大数据

快速回复 返回顶部 返回列表