Kylin 认识及使用RESTful API进行cube的增量更新

﹏ヽ暗。殇╰゛Y 2022-05-16 14:14 229阅读 0赞

#  Kylin 认识及使用RESTful API进行cube的增量更新 #

版本：

spark 2.2.0

kylin：2.5.0

首次登入界面：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70][]

首先要创建project：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 1][]

如果想要查看当前有多少个project：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 2][]

点击Manage Project:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 3][]

创建完Project之后，就可以导入hive的数据（kylin是查询hive的数据，根据预计算将结果预写入HBase里面存储）：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 4][]

导入数据之后，就开始创建Model：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 5][]

填写model的名字：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 6][]

点击Next，然后选择导入的hive表数据：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 7][]

点击Next之后，选择model指定hive表数据的维度（维度通常是大范围比如sql里面group by后面的字段，而指标是要统计的字段）：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 8][]

选择完维度之后，就要选择指标：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 9][]

指标选择之后，需要进行一些设置，选择hive表时间分区的字段和格式，然后save完成：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 10][]

创建完model之后，就要创建cube，类似model，选择之前创建的model，然后填写cube：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 11][]

选择维度：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 12][]

选择指标，count是默认的：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 13][]

进行设置：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 14][]

Auto merge Thresholds:是build有多份小数据，需要定时进行字段合并Merge，可以设置Merge的时间间隔，Partition start Date

是build的开始分区时间。

然后下一步可以选择kylin的执行引擎：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 15][]

下一步可以设置一些属性：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 16][]

完成创建cube：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 17][]

完成之后就可以对cube进行操作：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 18][]

<table> 
 <tbody> 
  <tr> 
   <td>Drop：丢弃现有cube，条件：无Pending, Running, Error 状态的job.<br> Edit：编辑现有cube，条件：cube需处于disable状态。<br> Refresh：重建某已有时间段数据，针对于已build时间段的源数据发生了改变的情况。<br> Merge：手动触发merge操作。<br> Enable：使拥有至少一个有效segment的cube从disable变为enable状态。<br> Purge：清空所有该cube的数据。<br> Clone：克隆一个新的cube，可设置新的名字，其他相关配置与原cube相同。<br> Disable：使一个处于ready状态的cube变为Disable状态，查询不会从disable的cube中获取数据。</td> 
  </tr> 
 </tbody> 
</table>

首先可以对创建的cube进行build进行预计算，然后可以在Monitor进行查看build过程：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 19][]

当build成功之后就可以在Insight进行sql查询数据（查询的表还是hive的表名称，只是要使用cube里面的维度之后，这样才是对Hbase的预计算结果进行查询，不然就是直接使用MapReduce查询hive的原数据，速度非常慢）。

接下来我们要处理上线之后定时任务，因为hive是以时间作为分区，每天有增量数据，所以需要再kylin每天增量写入数据：

<table> 
 <tbody> 
  <tr> 
   <td>1：Kylin的认证是basic authentication，加密算法是Base64，加密的明文为username:password；在POST的header进行用户认证：<br> curl&nbsp; -X POST -H "Authorization: Basic xxxxxxxx=" -H 'Content-Type: application/json' http://hostname:port/kylin/api/user/authentication</td> 
  </tr> 
 </tbody> 
</table>

可以在hive或者spark-sql里面进行base64加密算法获取：

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td> <p>select base64('username:password');</p> </td> 
  </tr> 
 </tbody> 
</table>

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td> <p>2：在认证完成之后，可以复用cookie文件（不再需要重新认证），向Kylin发送GET或POST请求，比如，查询cube的信息：<br> curl -b cookiefile.txt -H 'Content-Type: application/json' http://hostname:port/kylin/api/cubes/cube_name<br> 返回信息：<br> {"uuid":"xxxxxxxxxxxx","last_modified":1540804968611,"version":"2.5.0.20500","name":"cube_name","owner":"username","descriptor":"cube_name","display_name":"cube_name",</p> <p>"cost":50,"status":"DISABLED","segments":[],"create_time_utc":1540535981140,"cuboid_bytes":null,"cuboid_bytes_recommend":null,"cuboid_last_optimized":0,"snapshots":{}}</p> </td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td>通过RESTful API查询SQL：<br> curl -b cookiefile.txt --user username:password -X POST -H 'Content-Type: application/json' -d '{"sql":"select count(1) from table_name group by partition_name", "offset":0, "limit":10, "acceptPartial":false, "project":"project_name"}' http://hostname:port/kylin/api/query</td> 
  </tr> 
 </tbody> 
</table>

其中，offset为sql中相对记录首行的偏移量，limit为限制记录条数；二者在后台处理时都会拼接到sql中去。发送sql query的curl命令：

熟悉了curlful API之后然后进行sh的定时：

<table> 
 <tbody> 
  <tr> 
   <td>#!/bin/bash<br> cubeName=cube_name<br> today=`date -d "1 days ago" +%Y-%m-%d`<br> tdTs=`date -d "$today 08:00:00" +%s`<br> endTime=$(($tdTs*1000))<br> curl -b cookiefile.txt --user username:password -X PUT -H 'Content-Type: application/json' -d '{"startTime":'xxxxxxx',"endTime":'$endTime',"buildType":"BUILD"}' http://hostname:port/kylin/api/cubes/$cubeName/rebuild</td> 
  </tr> 
 </tbody> 
</table>

startTime : 做增量时，startTime 为上一次build的endTime。   
endTime：时间精确到毫秒。   
buildType：可选BUILD，MERGE，REDRESH

注意事项：通过RESTful API向kylin进行build和rebuild的时候一定要观察kylin的web界面下面的Montior进程，否知一不小心运行太多进程导致服务器崩掉。

当cube build过程中出错，重新执行

<table> 
 <tbody> 
  <tr> 
   <td>curl -b cookfile.txt&nbsp; -X PUT -H "Content-Type: application/json"&nbsp; http://hostname:port/kylin/api/jobs/uuid/resume</td> 
  </tr> 
 </tbody> 
</table>

uuid：从cube提交build时返回的json格式数据中获得。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70]: /images/20220503/9f07b889380343f9866e25f1560c9edb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 1]: /images/20220503/367743b499794bcea56e4193d421a85c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 2]: /images/20220503/fc6e2fb3ab1c443fac2e683d23b8d974.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 3]: /images/20220503/701e9b035d4a4bd48b536f7719106536.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 4]: /images/20220503/9c0f43050b104ab4ba7c719d0a08f612.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 5]: /images/20220503/481184082526432c955e37f41ffd369b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 6]: /images/20220503/f7ac14836b204d34aaab78fa104b5c80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 7]: /images/20220503/0ff2feba392649b193ea651559da4836.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 8]: /images/20220503/2f0db6d24d8c4c96a598851255e978fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 9]: /images/20220503/4e908f1e57594a55874171cdffcbe445.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 10]: /images/20220503/cb3df3298e3b4aa9bc0f61081d3bbc83.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 11]: /images/20220503/11f9f6ad1e3247e389fe93f23eaaad4a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 12]: /images/20220503/cbf57dedf42a4581bced0a0f7b53e341.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 13]: /images/20220503/176a8aa0b48e458bb5ba1e6eb69ada7a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 14]: /images/20220503/447f9da6afb34a99ac2407525980a7ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 15]: /images/20220503/511d89fddbd64473953e83e5f4bccf3b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 16]: /images/20220503/51963b26e3ac485e9b67ce180e22014e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 17]: /images/20220503/cd9981cda9064739a53b68605b31557c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 18]: /images/20220503/9bac26667b634da6af364060ff706ba2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MDUwOTkz_size_16_color_FFFFFF_t_70 19]: /images/20220503/d52222892a444563a5dc7ff0e202a8c3.png