大数据之olap平台
1： olap 介绍联机分析处理OLAP（On-Line Analytical Processing）。它具有FASMI(Fast Analysis of Shared Multidimensional Information)，即共享多维信息的快速分析的特征。其中F是快速性(Fast)，指系统能在数秒内对用户的多数分析要求做出反应；A是可分析性(Analysis)，指用户无需编程就可以定义新的专门计算，将其作为分析的一部 分，并以用户所希望的方式给出报告；M是多维性(Multi—dimensional)，指提供对数据分析的多维视图和分析；I是信息性(Information)，指能及时获得信息，并且管理大容量信息。下面是一个多维立方体。//upload-images.jianshu.io/upload_images/16108075-c1081ff45cfb468f.png
多维olap
2： 相关术语
维的层次（Level）：人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的各个描述方面（时间维：日期、月份、季度、年）。
维的成员（Member）：维的一个取值，是数据项在某维中位置的描述。（“某年某月某日”是在时间维上位置的描述）。
度量（Measure）：多维数组的取值。
3： 为什么需要olap平台传统的OLTP型数据库，已经不能满足需求，如下问题已经变得越来越广泛
1)数据规模都在几十T及P级别的数据，一般服务器承载不了。
2)数据量在猛烈增长， 但是查询的性能要求反而变大越来越高
3）Ods层的数据来源比较多，依赖比较多，但是用户的决策分析需要对这些Ods层的数据进行大量计算才能得到结果
4） SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求
5）一次处理的数据量大
以后问题可以通过olap很好的结果，通过olap处理的数据，具有如下特点：
1)支持数据的数据量大，可达到几十T及P级别的数据
2）数据量大但是查询速度依然很高
4：olap能做哪些事情？1） 大数据毫秒到亚秒级查询
2） 大数据的sql查询
3）BI的支持，可以和BI系统让大数据可视化动起来。
//upload-images.jianshu.io/upload_images/16108075-2a66b5e3f3a58e16.png
5：olap 产品 目前有两种MDD 的OLAP产品：基于多维数据库的MOLAP和交互分析的的ROLAP。
ROLAP，叫关系型 OLAP。它的特点是基于关系性模型，计算的时候，根据原始数据 去做聚合运算。常见的小数据量可以利用 MySQL、Oracle 这种传统数据库，而大数据 量可以利用 Spark SQL、Presto 这些项目。
MOLAP，叫多维 OLAP。它的特点就是它会基于一个预定义的模型，我需要知道，要 根据什么维度，要去算哪些指标，我提前就把这些结果弄好，存储在引擎上。当查询的 时候，根据结果简单地做下汇总就可以得出来。代表产品：kylin， Druid
kylin， 特点：开源 cube hive预聚合hbase
druid，特点: 开源 实时序列位图索引
作者：星星之火在心中
链接：https://www.jianshu.com/p/14b57d000fe5
页:
[1]