Kylin (三) --------- 快速入门

秒速五厘米 2024-04-01 11:56 79阅读 0赞

#### 目录 ####

*  一、数据准备
 *  二、创建项目
 *   *  1. 登录系统
     *  2. 创建工程
     *  3. 选择数据源
     *  3. 创建 Model
 *  四、创建 Cube
 *  五、Hive 和 Kylin 性能对比
 *   *  1. Hive 查询
     *  2. Kylin 查询
 *  六、Kylin 使用注意事项
 *   *  1. 只能按照构建 Model 的连接条件来写 SQL
     *  2. 只能按照构建 Cube 时选择的维度字段分组统计
     *  3. 只能统计构建 Cube 时选择的度量值字段
 *  七、Kylin 每日自动构建 Cube
 *  八、Kylin 设置查询下压

--------------------

需求：实现按照维度（部门名称）统计员工工资。

## 一、数据准备 ##

在 Hive 中创建数据，分别创建部门和员工外部表，并向表中导入数据。

**A、建表语句**

创建部门表

create external table if not exists dept(
    	deptno int,loc int
    )
    row format delimited fields terminated by '\t';

创建员工表

create external table if not exists emp(
    	empno int,
    	ename string,
    	job string,
    	mgr int,
    	hiredate string, 
    	sal double, 
    	comm double,
    	deptno int
    )
    row format delimited fields terminated by '\t';

**B、查看创建的表**

hive (default)> show tables;
    OK
    tab_name
    dept
    emp

**C、向外部表中导入数据**

导入数据

hive (default)> load data local inpath '/opt/module/datas/dept.txt' 
    into table dept;
    hive (default)> load data local inpath '/opt/module/datas/emp.txt' 
    into table emp;

查询结果

hive (default)> select * from emp;
    hive (default)> select * from dept;

## 二、创建项目 ##

### 1. 登录系统 ###

![在这里插入图片描述][6e5651ab6e96408dbbbb8ac6be63bf13.png]

### 2. 创建工程 ###

点击图上所示“+”号

![在这里插入图片描述][1d71ec1ef2044a4897d1ba2967176987.png]  
填入项目名及描述点击 Submit

![在这里插入图片描述][6e27385c3b1d418c87887092fdb33e51.png]

### 3. 选择数据源 ###

选择加载数据源方式

![在这里插入图片描述][77ee199c08ab4ac583225785516a44cf.png]  
同步要作为数据源的表

![在这里插入图片描述][5d3440b0ea944f078b8712010a2ef146.png]  
查看数据源

![在这里插入图片描述][402f423a7e754cc898fb3615db00e071.png]

### 3. 创建 Model ###

回到 Models 页面

![在这里插入图片描述][d80839009a5d4ca099e6ecd2485b8173.png]  
点击 New 按钮后点击 New Model

![在这里插入图片描述][4b847d23d6bc4d338c51fa8f4fa582ae.png]  
填写 Model 名称及描述后 Next

![在这里插入图片描述][f062059b93a74a84a88d6d615595c657.png]  
选择事实表

![在这里插入图片描述][6515bd7a81214d04a4d4952327d61a41.png]  
添加维度表

![在这里插入图片描述][2e3ad3650f2e43b99c79e2d36f39d8b2.png]  
选择添加的维度表及 join 字段

![在这里插入图片描述][7bd525e1aa5c4e48ab876b7aa84741f9.png]  
![在这里插入图片描述][e01664fdc4714d2b9de9b63d5ccb6046.png]  
![在这里插入图片描述][9c502b5b42984a1e891e6da6e6f425c6.png]  
选择维度信息

![在这里插入图片描述][e13b0f71ab02404cb82c2c4891d2ea81.png]  
选择度量信息

![在这里插入图片描述][a977fd3a63484914bf0798e9eae5837b.png]  
添加分区信息及过滤条件之后“Save”

![在这里插入图片描述][0226c07fae674eb6aaff5618f270ce9a.png]

创建 Model 完成

![在这里插入图片描述][ecbbb1397f734601aa0b3ab5d0e71c27.png]

## 四、创建 Cube ##

点击 New 按钮然后选择 New Cube

![在这里插入图片描述][77a6b5b7900445e38f901452c0cca8cc.png]

选择 Model 及填写 Cube Name

![在这里插入图片描述][56e564dc54334e56948641d919d92fd6.png]

添加真正的维度字段(将来会影响 Cuboid 的个数,并且只能从 model 维度字段里面选择)

![在这里插入图片描述][5adc9ff2dcbc450ba8e9b2ce7f287652.png]  
![在这里插入图片描述][adc259c6f09b421e8f42b3a5b48edb20.png]  
![在这里插入图片描述][9f3983db369b4931b28debe0325006d6.png]

添加真正度量值字段(将来预计算的字段值,只能从 model 度量值里面选择)

![在这里插入图片描述][82f138ed34574a02bb24b64b43b147ba.png]  
![在这里插入图片描述][51abc73cacb74a538e82c85741b0fc66.png]  
![在这里插入图片描述][11536d9957e148c1a454549314cdd57b.png]

动态更新相关 (默认)

![在这里插入图片描述][71836e90e4044950822acc741eb772e2.png]  
高阶设置 (默认)

![在这里插入图片描述][7eae03d882fa4e828846f37881cad3e5.png]  
![在这里插入图片描述][cec1dd2c5c3f4cf4b7753fec437deae4.png]

需要修改的配置 (默认)

![在这里插入图片描述][9b3d29e85feb4ebc8ba7a0f11a000766.png]

Cube 信息展示

![在这里插入图片描述][b936f4ba953844bda1d030177abd9d87.png]  
Cube 配置完成，查看 Cube 信息

![在这里插入图片描述][ab9ef8a3620f4c56961146f21c15afee.png]  
![在这里插入图片描述][2cb9188b47584228b41923861e21190d.png]

构建 Cube，触发预计算

![在这里插入图片描述][b9d8265675244f1b9d4a0d1be2f9eb9b.png]  
查看 Build 进度

![在这里插入图片描述][ca2c7964fc624b48b0184b5a918e3110.png]  
![在这里插入图片描述][05b35d45da94417d8f8a28baae5b5a8b.png]  
![在这里插入图片描述][f1809105d1e8462788d012d9efad39eb.png]  
构建 Cube 完成

![在这里插入图片描述][da9715c73c0a4d18ad43425317fd4a29.png]

## 五、Hive 和 Kylin 性能对比 ##

需求：根据部门名称 \[dname\] 统计员工薪资总数 \[sum(sal)\]

### 1. Hive 查询 ###

hive> select dname,sum(sal) from emp e join dept d on e.deptno = 
    d.deptno group by dname;
    Query ID = fancy_20181210104140_4931b735-5bad-4a4f-bce6-
    67985b8fe30a
    Total jobs = 1
    SLF4J: Class path contains multiple SLF4J bindings.
    … …
    … …
    Stage-Stage-2: Map: 1 Reduce: 1 Cumulative CPU: 3.95 sec HDFS 
    Read: 13195 HDFS Write: 48 SUCCESS
    Total MapReduce CPU Time Spent: 3 seconds 950 msec
    OK
    ACCOUNTING 3750.0
    RESEARCH 10875.0
    SALES 9400.0
    Time taken: 23.893 seconds, Fetched: 3 row(s)
    hive>

### 2. Kylin 查询 ###

进入 Insight 页面

![在这里插入图片描述][07471fb35927431ba9b73f3ce8ed412b.png]

在 New Query 中输入查询语句并 Submit

![在这里插入图片描述][19a062f82c664aa1b0d747a7d993662a.png]  
数据图表展示及导出

![在这里插入图片描述][708357375c10440781c72eda061ba54e.png]  
图表展示之条形图

![在这里插入图片描述][26fecef28c6a4d988031f8e8510da811.png]  
图表展示之饼图

![在这里插入图片描述][47a4ca22caf34731b09cddbabb61cb5c.png]

## 六、Kylin 使用注意事项 ##

### 1. 只能按照构建 Model 的连接条件来写 SQL ###

因为在创建 Model 的时候，我们对员工表和部门表选用的是 Inner Join 内连接

![在这里插入图片描述][14a68d1fee574710bb9290e9fb359d54.png]  
因此我们在使用 Kylin 查询的时候，也只能用 join 内连接，其他连接会报错。

![在这里插入图片描述][d79850114e70442ca5b46db804f752e6.png]  
并且还有一个要求就是顺序必须是事实表在前，维度表在后，否则报错！

![在这里插入图片描述][7c941e5952ab4752b2c0d263a6f90501.png]  
![在这里插入图片描述][3c1c7846516c44d9956d08068d54bebf.png]

### 2. 只能按照构建 Cube 时选择的维度字段分组统计 ###

我们在构建 Cube 时，选择了四个维度字段 JOB，MGR，DEPTNO，DNAME。

![在这里插入图片描述][ffa907a18bb64835974407335fe67c89.png]  
所以我们在使用 Kylin 查询的时候，只能按照这四个为的字段进行 Group By 分组统计，使用其他字段，一定会报错！

![在这里插入图片描述][ee407eb2ca304b4c999750497d8f3767.png]  
![在这里插入图片描述][4aee14bbeb044d49bdb9a88774c5e980.png]  
![在这里插入图片描述][70be5cc56e35483ca44e921cdd273378.png]  
![在这里插入图片描述][5b46d2d8d5ea42ca86eef2b01c0dfd9b.png]  
![在这里插入图片描述][04ca995679f449c5a813692419d398a2.png]

### 3. 只能统计构建 Cube 时选择的度量值字段 ###

我们构建 Cube 时，只添加了一个 SUM(SAL)的度量值，然后加上默认的 `COUNT(*)`，一共有两个度量值，因此我们只可以利用 Kylin 求这两个度量值，求其他报错。

![在这里插入图片描述][040f7cbda35e4f30a1cacf5b4e6fd1b2.png]  
![在这里插入图片描述][3f61dea7b20744ce98b91fbc544e1f24.png]  
![在这里插入图片描述][f344ee8f78944750a31265626d4d9f2d.png]  
![在这里插入图片描述][0176d90bf0ef4ce68706a167a6ba2928.png]

## 七、Kylin 每日自动构建 Cube ##

Kylin 提供了 Restful API，因次我们可以将构建 cube 的命令写到脚本中，将脚本交给 Azkaban 或者 Oozie 这样的调度工具，以实现定时调度的功能。

kylin\_cube\_build.sh 脚本如下：

#!/bin/bash
    #从第 1 个参数获取 cube_name
    cube_name=$1 #从第 2 个参数获取构建 cube 时间
    if [ -n "$2" ]
    then
     do_date=$2
    else
     do_date=`date -d '-1 day' +%F`
    fi
    #获取执行时间的 00:00:00 时间戳(0 时区)
    start_date_unix=`date -d "$do_date 08:00:00" +%s`
    #秒级时间戳变毫秒级
    start_date=$(($start_date_unix*1000))
    #获取执行时间的 24:00 的时间戳
    stop_date=$(($start_date+86400000))
    curl -X PUT -H "Authorization: Basic QURNSU46S1lMSU4=" -H 'ContentType: application/json' -d '{"startTime":'$start_date', 
    "endTime":'$stop_date', "buildType":"BUILD"}' 
    http://hadoop102:7070/kylin/api/cubes/$cube_name/build

注：我们没有修改 kylin 的时区，因此 kylin 内部只识别 0 时区的时间，0 时区的 0 点是东 8 区的早上 8 点，因此我们在脚本里要写$do\_date 08:00:00 来弥补时差问题。

## 八、Kylin 设置查询下压 ##

对于没有 cube 能查得结果的 sql，Kylin4.0 支持将这类查询下压至 SparkSql 去查询 Hive 源数据。

**A、设置参数开启**

vim /opt/module/kylin-4.0.1/conf/kylin.properties
    kylin.query.pushdown.runner-classname=org.apache.kylin.query.pushdown.PushDownRunnerSparkImpl

**B、页面刷新配置**

![在这里插入图片描述][5d5790a2d84e41b896fac0d1a29b6be9.png]  
**C、执行没有 cube 对应的查询**

![在这里插入图片描述][a9a421769db5451a82b96201294504b4.png]

[6e5651ab6e96408dbbbb8ac6be63bf13.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/606fe2294b6045488551cc44fc75e549.png
[1d71ec1ef2044a4897d1ba2967176987.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ca2ae0351727412f9297dba5354fcf35.png
[6e27385c3b1d418c87887092fdb33e51.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/e35e4bd3548f4a098f9e7166aba74867.png
[77ee199c08ab4ac583225785516a44cf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f418932b553a4a0aa815316895db7d0d.png
[5d3440b0ea944f078b8712010a2ef146.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/2cfa9601c36343a2b3295e318648cb5c.png
[402f423a7e754cc898fb3615db00e071.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/a5cf4bbadb3949b4b9a61cf0e6c2bf8c.png
[d80839009a5d4ca099e6ecd2485b8173.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/8e699a2b4694403fa353bd14ccca46fe.png
[4b847d23d6bc4d338c51fa8f4fa582ae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/8d008d9e006a4f2b9d79686aed92b909.png
[f062059b93a74a84a88d6d615595c657.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ffdfe34774db43e6a02b53464afd38ad.png
[6515bd7a81214d04a4d4952327d61a41.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/816da141eecd49de81b2ab34e57c2090.png
[2e3ad3650f2e43b99c79e2d36f39d8b2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/aab24ec84958477d9e5a4cb8378da4e3.png
[7bd525e1aa5c4e48ab876b7aa84741f9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/acf2857282e24ff4bfdff75be0f7e5d8.png
[e01664fdc4714d2b9de9b63d5ccb6046.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/40c57c69b20047ca9291babe9751c4f6.png
[9c502b5b42984a1e891e6da6e6f425c6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/d088ce0c4f394249996f12912dc1297b.png
[e13b0f71ab02404cb82c2c4891d2ea81.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b4852e94d2604c109ac798d916777a92.png
[a977fd3a63484914bf0798e9eae5837b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ffffa97470f7497b90933dbd03afc33b.png
[0226c07fae674eb6aaff5618f270ce9a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/72d28525550f4806a748a047ae33f396.png
[ecbbb1397f734601aa0b3ab5d0e71c27.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/066e3373226b476f8931211b4690fa5e.png
[77a6b5b7900445e38f901452c0cca8cc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/460e080d80124380b7cc8b900832070e.png
[56e564dc54334e56948641d919d92fd6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/7cca879b2d3f426a8015642eae5b21ab.png
[5adc9ff2dcbc450ba8e9b2ce7f287652.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/41c2e647bade4ee2a1617739537ca19c.png
[adc259c6f09b421e8f42b3a5b48edb20.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/4533c2a779524740844b9c13477e1fa2.png
[9f3983db369b4931b28debe0325006d6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/22d2ca31d7d34776be06e6b86ff5d769.png
[82f138ed34574a02bb24b64b43b147ba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/513f8b1d37f94d0ca641b3d4e6dc0d7e.png
[51abc73cacb74a538e82c85741b0fc66.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/71cc3470c0d7403badd48aedb6ef19b1.png
[11536d9957e148c1a454549314cdd57b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/bc4d9f6d807141a2ba30daef69f7b25a.png
[71836e90e4044950822acc741eb772e2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f2909885d5e14c63863c09217de59ce6.png
[7eae03d882fa4e828846f37881cad3e5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/fd1d79b5973a4ee894761db481504e80.png
[cec1dd2c5c3f4cf4b7753fec437deae4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/042331fbb7dc41208de59b572d403e1f.png
[9b3d29e85feb4ebc8ba7a0f11a000766.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/8c8307c744e64523ad3eda8424dff287.png
[b936f4ba953844bda1d030177abd9d87.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/793ddb415bca48e3a233e481d7308d80.png
[ab9ef8a3620f4c56961146f21c15afee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/333591ba486d4568b354371b72590409.png
[2cb9188b47584228b41923861e21190d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/3ab829b489aa4ba7b26d0c74bf36e6a2.png
[b9d8265675244f1b9d4a0d1be2f9eb9b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/55a05b7eefcb4a75aca51a2569ff529e.png
[ca2c7964fc624b48b0184b5a918e3110.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ec206ecb060d4cd5a4a3f2437eabe07b.png
[05b35d45da94417d8f8a28baae5b5a8b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/a6d795b62aea4b5faf062fd7f7888fb5.png
[f1809105d1e8462788d012d9efad39eb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/75b3abecdcf540b1a229f3661cea98f5.png
[da9715c73c0a4d18ad43425317fd4a29.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/d432b310a7c44680ae7bb6c0b75203fd.png
[07471fb35927431ba9b73f3ce8ed412b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/4e6afdd874ad4bffa85300d32b508d92.png
[19a062f82c664aa1b0d747a7d993662a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/4dbb7698f33e41d2a547122ef0697ffb.png
[708357375c10440781c72eda061ba54e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/deebb3d5dab146a893752766ca9722aa.png
[26fecef28c6a4d988031f8e8510da811.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/92e19bcffbc445ea9ebccf566b3d5f37.png
[47a4ca22caf34731b09cddbabb61cb5c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ef95d9dad0024db4a8943a2a45ae7efb.png
[14a68d1fee574710bb9290e9fb359d54.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b171b0c0a73f41528cb48f91ea81c478.png
[d79850114e70442ca5b46db804f752e6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/62f89a68b61d4f55b9d993fe72f4bd68.png
[7c941e5952ab4752b2c0d263a6f90501.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/3055942a5a554efb907ba908b4e0e627.png
[3c1c7846516c44d9956d08068d54bebf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/20dbfbdf1c464cbd8cdf7e2de8bdae34.png
[ffa907a18bb64835974407335fe67c89.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/8a5843a643dc4cfdaded050c0d00de70.png
[ee407eb2ca304b4c999750497d8f3767.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/747133b5063e43c39af8258aa8dfb731.png
[4aee14bbeb044d49bdb9a88774c5e980.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/76e01a249518497b831cd1fe9319b290.png
[70be5cc56e35483ca44e921cdd273378.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f654c829acb746c0a91327b4f74fc12f.png
[5b46d2d8d5ea42ca86eef2b01c0dfd9b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/c195574f7b774b668dd3a1d267ce78a9.png
[04ca995679f449c5a813692419d398a2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/37e37dd56dcb44cc84c49b02c11590bb.png
[040f7cbda35e4f30a1cacf5b4e6fd1b2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/5ca5607b480f48ba9922ff5262603515.png
[3f61dea7b20744ce98b91fbc544e1f24.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/aeded77a3a484d039ac12cedf1bd5662.png
[f344ee8f78944750a31265626d4d9f2d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b136f6f3148445a3946a4768e3739f9b.png
[0176d90bf0ef4ce68706a167a6ba2928.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/391e8d727be24aa4a9dc74978c9c4e56.png
[5d5790a2d84e41b896fac0d1a29b6be9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/26732d7e68534b13b14bd8b901e34b99.png
[a9a421769db5451a82b96201294504b4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f0ad2502f36c4271bea19a681499bf38.png