数据立方体与OLAP

红太狼 2022-07-15 11:42 147阅读 0赞

前面的一篇文章——[数据仓库的多维数据模型][Link 1]中已经简单介绍过多维模型的定义和结构，以及事实表（Fact Table）和维表（Dimension Table）的概念。多维数据模型作为一种新的逻辑模型赋予了数据新的组织和存储形式，而真正体现其在分析上的优势还需要基于模型的有效的操作和处理，也就是OLAP（On-line Analytical Processing，联机分析处理）。

### 数据立方体 ###

关于数据立方体（Data Cube），这里必须注意的是数据立方体只是多维模型的一个形象的说法。立方体其本身只有三维，但多维模型不仅限于三维模型，可以组合更多的维度，但一方面是出于更方便地解释和描述，同时也是给思维成像和想象的空间；另一方面是为了与传统关系型数据库的二维表区别开来，于是就有了数据立方体的叫法。所以本文中也是引用立方体，也就是把多维模型以三维的方式为代表进行展现和描述，其实上Google图片搜索“OLAP”会有一大堆的数据立方体图片，这里我自己画了一个：

[![Data-Cube][]][Data-Cube]

### OLAP ###

OLAP（On-line Analytical Processing，联机分析处理）是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。可以比较下其与传统的OLTP（On-line Transaction Processing，联机事务处理）的区别来看一下它的特点：

#### OLAP与OLTP ####

<table style="margin:0px 0px 1.71429rem; padding:0px; border-width:0px 0px 1px; border-top-style:initial; border-right-style:initial; border-bottom-style:solid; border-left-style:initial; border-top-color:initial; border-right-color:initial; border-bottom-color:rgb(237,237,237); border-left-color:initial; font-size:0.857143rem; vertical-align:baseline; border-collapse:collapse; border-spacing:0px; color:rgb(117,117,117); line-height:2; width:624px; font-family:&quot;Open Sans&quot;,Helvetica,Arial,sans-serif"> 
 <tbody style="margin:0px; padding:0px; border:0px; font-size:12px; vertical-align:baseline"> 
  <tr style="margin:0px; padding:0px; border:0px; vertical-align:baseline"> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 数据处理类型</td> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> OLTP</td> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> OLAP</td> 
  </tr> 
  <tr style="margin:0px; padding:0px; border:0px; vertical-align:baseline"> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 面向对象</td> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 业务开发人员</td> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 分析决策人员</td> 
  </tr> 
  <tr style="margin:0px; padding:0px; border:0px; vertical-align:baseline"> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 功能实现</td> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 日常事务处理</td> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 面向分析决策</td> 
  </tr> 
  <tr style="margin:0px; padding:0px; border:0px; vertical-align:baseline"> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 数据模型</td> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 关系模型</td> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 多维模型</td> 
  </tr> 
  <tr style="margin:0px; padding:0px; border:0px; vertical-align:baseline"> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 数据量</td> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 几条或几十条记录</td> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 百万千万条记录</td> 
  </tr> 
  <tr style="margin:0px; padding:0px; border:0px; vertical-align:baseline"> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 操作类型</td> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 查询、插入、更新、删除</td> 
   <td style="margin:0px; padding:6px 10px 6px 0px; border-width:1px 0px 0px; border-top-style:solid; border-right-style:initial; border-bottom-style:initial; border-left-style:initial; border-top-color:rgb(237,237,237); border-right-color:initial; border-bottom-color:initial; border-left-color:initial; vertical-align:baseline"> 查询为主</td> 
  </tr> 
 </tbody> 
</table>

#### OLAP的类型 ####

首先要声明的是这里介绍的有关多维数据模型和OLAP的内容基本都是基于ROLAP，因为其他几种类型极少接触，而且相关的资料也不多。

MOLAP(Multidimensional)

即基于多维数组的存储模型，也是最原始的OLAP，但需要对数据进行预处理才能形成多维结构。

ROLAP(Relational)

比较常见的OLAP类型，这里介绍和讨论的也基本都是ROLAP类型，可以从多维数据模型的那篇文章的图中看到，其实ROLAP是完全基于关系模型进行存放的，只是它根据分析的需要对模型的结构和组织形式进行的优化，更利于OLAP。

HOLAP(Hybrid)

介于MOLAP和ROLAP的类型，我的理解是细节的数据以ROLAP的形式存放，更加方便灵活，而高度聚合的数据以MOLAP的形式展现，更适合于高效的分析处理。

另外还有WOLAP(Web-based OLAP)、DOLAP(Desktop OLAP)、RTOLAP(Real-Time OLAP)，具体可以参开维基百科上的解释——[OLAP][]。

### OLAP的基本操作 ###

我们已经知道OLAP的操作是以查询——也就是数据库的SELECT操作为主，但是查询可以很复杂，比如基于关系数据库的查询可以多表关联，可以使用COUNT、SUM、AVG等聚合函数。OLAP正是基于多维模型定义了一些常见的面向分析的操作类型是这些操作显得更加直观。

OLAP的多维分析操作包括：钻取（Drill-down）、上卷（Roll-up）、切片（Slice）、切块（Dice）以及旋转（Pivot），下面还是以上面的数据立方体为例来逐一解释下：

[![OLAP][OLAP 1]][OLAP 1]

钻取（Drill-down）：在维的不同层次间的变化，从上层降到下一层，或者说是将汇总数据拆分到更细节的数据，比如通过对2010年第二季度的总销售数据进行钻取来查看2010年第二季度4、5、6每个月的消费数据，如上图；当然也可以钻取浙江省来查看杭州市、宁波市、温州市……这些城市的销售数据。

上卷（Roll-up）：钻取的逆操作，即从细粒度数据向高层的聚合，如将江苏省、上海市和浙江省的销售数据进行汇总来查看江浙沪地区的销售数据，如上图。

切片（Slice）：选择维中特定的值进行分析，比如只选择电子产品的销售数据，或者2010年第二季度的数据。

切块（Dice）：选择维中特定区间的数据或者某批特定值进行分析，比如选择2010年第一季度到2010年第二季度的销售数据，或者是电子产品和日用品的销售数据。

旋转（Pivot）：即维的位置的互换，就像是二维表的行列转换，如图中通过旋转实现产品维和地域维的互换。

### OLAP的优势 ###

首先必须说的是，OLAP的优势是基于数据仓库面向主题、集成的、保留历史及不可变更的数据存储，以及多维模型多视角多层次的数据组织形式，如果脱离的这两点，OLAP将不复存在，也就没有优势可言。

#### 数据展现方式 ####

基于多维模型的数据组织让数据的展示更加直观，它就像是我们平常看待各种事物的方式，可以从多个角度多个层面去发现事物的不同特性，而OLAP正是将这种寻常的思维模型应用到了数据分析上。

#### 查询效率 ####

多维模型的建立是基于对OLAP操作的优化基础上的，比如基于各个维的索引、对于一些常用查询所建的视图等，这些优化使得对百万千万甚至上亿数量级的运算变得得心应手。

#### 分析的灵活性 ####

我们知道多维数据模型可以从不同的角度和层面来观察数据，同时可以用上面介绍的各类OLAP操作对数据进行聚合、细分和选取，这样提高了分析的灵活性，可以从不同角度不同层面对数据进行细分和汇总，满足不同分析的需求。

是不是觉得其实OLAP并没有想象中的那么复杂，一旦多维数据模型建成后，在上面做OLAP其实是一件很cool的事情。 ![;)][icon_wink.gif]

本文转载自：[http://webdataanalysis.net/][http_webdataanalysis.net]文章：[数据立方体与OLAP][OLAP 2]

[Link 1]: http://webdataanalysis.net/web-data-warehouse/multidimensional-data-model/
[Data-Cube]: /images/20220715/92b2211ef508459a9c59732715cdcef3.png
[OLAP]: http://en.wikipedia.org/wiki/Online_analytical_processing
[OLAP 1]: /images/20220715/24b9cbf9b8bc4f33be77b87811e1597e.png
[icon_wink.gif]: /images/20220715/86efc8311102410db661ddc9f2919141.png
[http_webdataanalysis.net]: http://webdataanalysis.net/
[OLAP 2]: http://webdataanalysis.net/web-data-warehouse/data-cube-and-olap/