168大数据

标题: 大数据之olap平台 [打印本页]

作者: 168主编 时间: 2019-5-21 14:05
标题: 大数据之olap平台
1： olap 介绍联机分析处理OLAP（On-Line Analytical Processing）。它具有FASMI(Fast Analysis of Shared Multidimensional Information)，即共享多维信息的快速分析的特征。其中F是快速性(Fast)，指系统能在数秒内对用户的多数分析要求做出反应；A是可分析性(Analysis)，指用户无需编程就可以定义新的专门计算，将其作为分析的一部分，并以用户所希望的方式给出报告；M是多维性(Multi—dimensional)，指提供对数据分析的多维视图和分析；I是信息性(Information)，指能及时获得信息，并且管理大容量信息。下面是一个多维立方体。

多维olap

2：相关术语
维的层次（Level）：人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的各个描述方面（时间维：日期、月份、季度、年）。
维的成员（Member）：维的一个取值，是数据项在某维中位置的描述。（“某年某月某日”是在时间维上位置的描述）。
度量（Measure）：多维数组的取值。
3：为什么需要olap平台传统的OLTP型数据库，已经不能满足需求，如下问题已经变得越来越广泛
1)  数据规模都在几十T及P级别的数据，一般服务器承载不了。
2)  数据量在猛烈增长，但是查询的性能要求反而变大越来越高
3）Ods层的数据来源比较多，依赖比较多，但是用户的决策分析需要对这些Ods层的数据进行大量计算才能得到结果
4） SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求
5）一次处理的数据量大
以后问题可以通过olap很好的结果，通过olap处理的数据，具有如下特点：
1)  支持数据的数据量大，可达到几十T及P级别的数据
2）数据量大但是查询速度依然很高
4：  olap能做哪些事情？1）大数据毫秒到亚秒级查询
2）大数据的sql查询
3）  BI的支持，可以和BI系统让大数据可视化动起来。

5：  olap 产品 目前有两种MDD 的OLAP产品：基于多维数据库的MOLAP和交互分析的的ROLAP。
ROLAP，叫关系型 OLAP。它的特点是基于关系性模型，计算的时候，根据原始数据    去做聚合运算。常见的小数据量可以利用 MySQL、Oracle 这种传统数据库，而大数据    量可以利用 Spark SQL、Presto 这些项目。
MOLAP，叫多维 OLAP。它的特点就是它会基于一个预定义的模型，我需要知道，要    根据什么维度，要去算哪些指标，我提前就把这些结果弄好，存储在引擎上。当查询的    时候，根据结果简单地做下汇总就可以得出来。代表产品：kylin， Druid
kylin，特点：开源 cube hive  预聚合  hbase
druid，特点: 开源实时序列  位图索引

作者：星星之火在心中
链接：https://www.jianshu.com/p/14b57d000fe5

欢迎光临 168大数据 (http://www.bi168.cn/)