Kylin增量构建

浅浅的花香味﹌ 2022-11-01 04:27 191阅读 0赞

### 目录 ###

*   *  应用场景
     *  理解Cube、Cuboid与Segment的关系
     *  全量构建与增量构建
     *  增量构建Cube过程
     *  数据准备
     *  增量Cube的创建
     *  REST API触发增量构建

## 应用场景 ##

*  Kylin在每次Cube的构建都会从Hive中批量读取数据，
 *  对于大多数业务场景来说，Hive中的数据处于不断增长的状态。
 *  为了支持Cube中的数据能够不断地得到更新，且无需重复地为已经处理过的历史数据构建Cube，因此对于Cube引入了增量构建的功能

## 理解Cube、Cuboid与Segment的关系 ##

Kylin将Cube划分为多个Segment（对应就是HBase中的一个表），

*  每个Segment用起始时间和结束时间来标志
 *  Segment代表一段时间内源数据的预计算结果。
 *  一个Segment的起始时间等于它之前那个Segment的结束时间，同理，它的结束时间等于它后面那个Segment的起始时间。
 *  同一个Cube下不同的Segment除了背后的源数据不同之外，其他如结构定义、构建过程、优化方法、存储方式等都完全相同。  
    **segment示意图**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]

一个Cube，可以包含多个Cuboid，而Segment是指定时间范围的Cube，可以理解为Cube的分区。对应就是HBase中的一张表。该表中包含了所有的Cuboid。  
**例如：以下为针对某个Cube的Segment**

<table> 
 <thead> 
  <tr> 
   <th>Segment名称</th> 
   <th>分区时间</th> 
   <th>HBase表名</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>201910110000000-201910120000000</td> 
   <td>20191011</td> 
   <td>KYLIN_41Z8123</td> 
  </tr> 
  <tr> 
   <td>201910120000000-201910130000000</td> 
   <td>20191012</td> 
   <td>KYLIN_5AB2141</td> 
  </tr> 
  <tr> 
   <td>201910130000000-201910140000000</td> 
   <td>20191013</td> 
   <td>KYLIN_7C1151</td> 
  </tr> 
  <tr> 
   <td>201910140000000-201910150000000</td> 
   <td>20191014</td> 
   <td>KYLIN_811680</td> 
  </tr> 
  <tr> 
   <td>201910150000000-201910160000000</td> 
   <td>20191015</td> 
   <td>KYLIN_A11AD1</td> 
  </tr> 
 </tbody> 
</table>

## 全量构建与增量构建 ##

**全量构建**  
在全量构建中，

*  Cube中只存在唯一的一个Segment
 *  该Segment没有分割时间的概念，也就没有起始时间和结束时间
 *  对于全量构建来说，每当需要更新Cube数据的时候，它不会区分历史数据和新加入的数据，也就是说，在构建的时候会导入并处理所有的原始数据。  
    **增量构建**  
    增量构建
 *  只会导入新Segment指定的时间区间内的原始数据，并只对这部分原始数据进行预计算。  
    **全量构建和增量构建的对比**

<table> 
 <thead> 
  <tr> 
   <th>全量构建</th> 
   <th>增量构建</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>每次更新时都需要更新整个数据集</td> 
   <td>每次只对需要更新的时间范围进行更新，因此离线计算量相对较小</td> 
  </tr> 
  <tr> 
   <td>查询时不需要合并不同Segment的结果</td> 
   <td>查询时需要合并不同Segment的结果，因此查询性能会受影响</td> 
  </tr> 
  <tr> 
   <td>不需要后续的Segment合并</td> 
   <td>累计一定量的Segment之后，需要进行合并</td> 
  </tr> 
  <tr> 
   <td>适合小数据量或全表更新的Cube</td> 
   <td>适合大数据量的Cube</td> 
  </tr> 
 </tbody> 
</table>

全量构建与增量构建的Cube查询方式对比：

*  全量构建Cube
    
     *  查询引擎只需向存储引擎访问单个Segment所对应的数据，无需进行Segment之间的聚合
     *  为了加强性能，单个Segment的数据也有可能被分片存储到引擎的多个分区上，查询引擎可能仍然需要对单个Segment不同分区的数据做进一步的聚合
 *  增量构建Cube
    
     *  由于不同时间的数据分布在不同的Segment之中，查询引擎需要向存储引擎请求读取各个Segment的数据
     *  增量构建的Cube上的查询会比全量构建的做更多的运行时聚合，通常来说增量构建的Cube上的查询会比全量构建的Cube上的查询要慢一些

对于小数据量的Cube，或者经常需要全表更新的Cube，使用**全量构建**需要更少的运维精力，以少量的重复计算降低生产环境中的维护复杂度。而对于大数据量的Cube，例如，对于一个包含两年历史数据的Cube，如果需要每天更新，那么每天为了新数据而去重复计算过去两年的数据就会变得非常浪费，在这种情况下需要考虑使用增量构建

## 增量构建Cube过程 ##

1、指定分割时间列

增量构建Cube的定义必须包含一个时间维度，用来分割不同的Segment，这样的维度称为分割时间列（Partition Date Column）。

2、增量构建过程

*  在进行增量构建时，将增量部分的起始时间和结束时间作为增量构建请求的一部分提交给Kylin的任务引擎
 *  任务引擎会根据起始时间和结束时间从Hive中抽取相应时间的数据，并对这部分数据做预计算处理
 *  将预计算的结果封装成为一个新的Segment，并将相应的信息保存到元数据和存储引擎中。一般来说，增量部分的起始时间等于Cube中最后一个Segment的结束时间。

## 数据准备 ##

data\_dim\_user.txt

1,张三
    2,李四
    3,王五
    4,赵六

data\_order\_20191011.txt

1,1,2200
    2,1,3200
    3,2,4100
    4,2,5100
    5,2,4122

data\_order\_20191012.txt

6,1,1200
    7,2,1280
    8,3,9110
    9,3,1100
    10,3,3122

data\_order\_20191013.txt

11,2,3200
    12,2,7280
    13,4,9110
    14,4,8100
    15,3,2122

data\_order\_20191014.txt

16,1,1200
    17,3,2280
    18,2,3110
    19,4,4100
    20,4,5122

插入数据

-- 一、初始化Hive数据库、表结构
    -- 1. 创建数据库、创建表
    -- 2. 创建用户维度表
    -- 3. 创建订单事实表
    
    -- 1. 创建数据库、创建表
    create database if not exists `itcast_kylin_dw`;
    
    -- 2. 创建用户维度表
    create table `itcast_kylin_dw`.`dim_user`(
        id string,
        name string
    )
    row format delimited fields terminated by ',';
    
    -- 3. 创建订单事实表
    create table `itcast_kylin_dw`.`fact_order`(
        order_id string,
        user_id string,
        price int
    )
    partitioned by (dt string)
    row format delimited fields terminated by ',';
    
    
    -- 二、装载数据
    load data local inpath '/export/data/data_dim_user.txt' overwrite into table `itcast_kylin_dw`.`dim_user`;
    load data local inpath '/export/data/data_order_20191011.txt' overwrite into table `itcast_kylin_dw`.`fact_order` partition(dt='20191011');
    load data local inpath '/export/data/data_order_20191012.txt' overwrite into table `itcast_kylin_dw`.`fact_order` partition(dt='20191012');
    load data local inpath '/export/data/data_order_20191013.txt' overwrite into table `itcast_kylin_dw`.`fact_order` partition(dt='20191013');
    
    
    -- 三、使用REST方式触发构建
    load data local inpath '/export/data/data_order_20191014.txt' overwrite into table `itcast_kylin_dw`.`fact_order` partition(dt='20191014');

## 增量Cube的创建 ##

创建增量Cube的过程和创建普通Cube的过程基本类似，只是增量Cube会有一些额外的配置要求  
1、配置Model  
增量构建的Cube需要指定**分割时间列**。例如：将日期分区字段添加到维度列中  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]  
2.配置cube  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 8]  
接下来直接保存  
3、构建 20191011、20191012、20191013的Cube数据  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 10]  
4、查看增量构建Cube对应的Segment  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 11]

## REST API触发增量构建 ##

在Web GUI上进行的所有操作，其背后调用的都是同一套Rest API。将来可以SHELL脚本调度REST API触发构建

<table> 
 <thead> 
  <tr> 
   <th>属性</th> 
   <th>值</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>URL</td> 
   <td>http://hadoop102:7070/kylin/api/cubes/{Cube名称}/rebuild</td> 
  </tr> 
  <tr> 
   <td>请求方式</td> 
   <td>PUT</td> 
  </tr> 
  <tr> 
   <td>RequestBody（JSON字符串）</td> 
   <td>{“startTime”:时间戳, “endTime”: “时间戳”, “buildType”: “BUILD/MERGE/REFRESH”}</td> 
  </tr> 
 </tbody> 
</table>

注意：
    * Kylin中Cube构建的时间采用CST（北京时间），而REST提交的时间采用的是UTC（世界标准时间）
    * CST = UTC + 8
    * startTime、endTime提交到Kylin，应该 +8 个小时

参考JSON：

{ 
    	"startTime": "1571011200000",
    	"endTime": "1571097600000",
    	"buildType": "BUILD"
    }

时间戳转换工具：  
[http://tool.chinaz.com/Tools/unixtime.aspx][http_tool.chinaz.com_Tools_unixtime.aspx]  
执行请看这里  
[https://donglin.blog.csdn.net/article/details/109076019][https_donglin.blog.csdn.net_article_details_109076019]

curl -X PUT -H "Authorization: Basic QURNSU46S1lMSU4=" -H 'Content-Type: application/json' -d \
    '{"startTime": "1571011200000","endTime": "1571097600000","buildType": "BUILD"}'  \
    http://hadoop102:7070/kylin/api/cubes/incre_cuble/build

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: /images/20221024/e142d29bc42640d5a1817f6bdfcf8268.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]: /images/20221024/76a3ccfe913345ca8dcd854528af7eb1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]: /images/20221024/8c87ea2c77134f06a8d5ca22d4e3b85d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]: /images/20221024/5b9a7a8d464a4e8d919b82cba6160dd5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]: /images/20221024/2eaaf04e614b42c48b8ec5dceae445e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]: /images/20221024/897a88d4cde547368c99a9ce6abb584b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 6]: /images/20221024/0bab1cdccb3341a5a8d1f9140185fc66.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 7]: /images/20221024/eab99d5af6f74585b4e60f11aa64375a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 8]: /images/20221024/d8cbccf620ff4ac7a71a9fd19c1fffdd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 9]: /images/20221024/3228a72dcc20450088e9c9696995160a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 10]: /images/20221024/c6994d0f5ac04f2d8c1309fd500275cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 11]: /images/20221024/9ee062834ffd4bfda08352ca78e32bc9.png
[http_tool.chinaz.com_Tools_unixtime.aspx]: http://tool.chinaz.com/Tools/unixtime.aspx
[https_donglin.blog.csdn.net_article_details_109076019]: https://donglin.blog.csdn.net/article/details/109076019