Kylin(一)：快速入门

女爷i 2023-02-23 08:29 26阅读 0赞

### 文章目录 ###

*  一、概述
 *   *  1.1 Kylin定义
     *  1.2 Kylin术语
     *  1.3 Kylin架构
 *  二、Kylin安装
 *  三、快速入门
 *   *  3.1 创建项目
     *  3.2 创建Model
     *  3.3创建Cube
     *  3.4 Hive和Kylin性能对比

# 一、概述 #

## 1.1 Kylin定义 ##

`Apache Kylin`是一个开源的分布式分析引擎，提供`Hadoop`/`Spark`之上的`SQL`查询接口及多维分析（`OLAP`）能力以支持超大规模数据，最初由`eBay`开发并贡献至开源社区。它能在亚秒内查询巨大的`Hive`表。

## 1.2 Kylin术语 ##

**①`Data Warehouse`（数据仓库）**

数据仓库是一个各种数据（包括历史数据和当前数据）的中心存储系统，是`BI`（ `business intelligence` 商业智能）的核心部件。

这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。

**②`Business Intelligence`（商业智能）**

商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。

为了将数据转化为知识，需要利用数据仓库、联机分析处理（`OLAP`）工具和数据挖掘等技术。

**③`OLAP`（`online analytical processing`）**

`OLAP`是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。从各方面观察信息，也就是从不同的维度分析数据，因此`OLAP`也成为多维分析。  
![在这里插入图片描述][20200706163222552.png]  
两种`OLAP`类型：  
![在这里插入图片描述][20200706163447305.png]  
**④`OLAP Cube`**

`MOLAP`基于多维数据集，一个多维数据集称为一个`OLAP Cube`。  
![在这里插入图片描述][20200706163755675.png]  
![在这里插入图片描述][20200706163857317.png]  
**⑤`Star Schema`（星型模型）**  
![在这里插入图片描述][20200706164147573.png]  
**⑥`Fact Table`（事实表）& `Dimension Table`（维度表）**  
![在这里插入图片描述][20200706164325857.png]  
**⑦`Dimension`（维度）& `Measure`（度量）**

维度：分析数据的数据的角度  
度量：被分析的指标  
![在这里插入图片描述][20200706164446246.png]

## 1.3 Kylin架构 ##

![在这里插入图片描述][20200706164659794.png]  
**①`REST Server`**

`REST Server`是一套面向应用程序开发的入口点，旨在实现针对`Kylin`平台的应用开发工作。 此类应用程序可以提供查询、获取结果、触发`cube`构建任务、获取元数据以及获取用户权限等等。另外可以通过`Restful`接口实现`SQL`查询。

**②查询引擎（`Query Engine`）**

当`cube`准备就绪后，查询引擎就能够获取并解析用户查询。它随后会与系统中的其它组件进行交互，从而向用户返回对应的结果。

**③路由器（`Routing`）**

在最初设计时曾考虑过将`Kylin`不能执行的查询引导去`Hive`中继续执行，但在实践后发现`Hive`与`Kylin`的速度差异过大，导致用户无法对查询的速度有一致的期望，很可能大多数查询几秒内就返回结果了，而有些查询则要等几分钟到几十分钟，因此体验非常糟糕。最后这个路由功能在发行版中默认关闭。

**④元数据管理工具（`Metadata`）**

`Kylin`是一款元数据驱动型应用程序。元数据管理工具是一大关键性组件，用于对保存在`Kylin`当中的所有元数据进行管理，其中包括最为重要的`cube`元数据。其它全部组件的正常运作都需以元数据管理工具为基础。 `Kylin`的元数据存储在`HBase`中。

**⑤任务引擎（`Cube Build Engine`）**

这套引擎的设计目的在于处理所有离线任务，其中包括`Shell`脚本、`Java API`以及`MapReduce`任务等等。任务引擎对`Kylin`当中的全部任务加以管理与协调，从而确保每一项任务都能得到切实执行并解决其间出现的故障。

# 二、Kylin安装 #

**①解压`apache-kylin-2.5.1-bin-hbase1x.tar.gz`到`/opt/module`**

[root@hadoop100 sorfware]# tar -zxvf apache-kylin-2.5.1-bin-hbase1x.tar.gz \
    -C /opt/module/

**②环境准备**

环境变量（缺一不可）：

#JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    export PATH=$PATH:$JAVA_HOME/bin
    
    #Hadoop
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    
    #Kafka
    export KAFKA_HOME=/opt/module/kafka-0.11.0.2
    export PATH=$PATH:$KAFKA_HOME/bin
    
    #HBase
    export HBASE_HOME=/opt/module/hbase-1.3.1
    export PATH=$PATH:$HBASE_HOME/bin
    
    #Hive
    export HIVE_HOME=/opt/module/hive-1.2.1
    export PATH=$PATH:$HIVE_HOME/bin
    
    export HIVE_CONF=/opt/module/hive-1.2.1/conf
    export PATH=$PATH:$HIVE_CONF
    
    export HCAT_HOME=/opt/module/hive-1.2.1/hcatalog
    export PATH=$PATH:$HCAT_HOME
    
    export HIVE_LIB=/opt/module/hive-1.2.1/lib
    export PATH=$PATH:$HIVE_LIB
    
    #Kylin
    export KYLIN_HOME=/opt/module/kylin-2.5.1
    export PATH=$PATH:$KYLIN_HOME/bin

若启动报错`java.io.IOException: java.net.UnknownHostException: hadoop100:2181`，删掉`HBase`配置文件`hbase-site.xml`下配置`ZooKeeper`的端口号  
![在这里插入图片描述][2020070617351699.png]  
注意：启动`Kylin`之前要保证`HDFS`，`YARN`，`ZK`，`HBASE`相关进程是正常运行的。

**③启动`Kylin`**

[root@hadoop100 kylin-2.5.1]# bin/kylin.sh start

④访问`http://hadoop100:7070/kylin`查看`Web`页面

默认用户名：`admin`，密码：`KYLIN`

# 三、快速入门 #

## 3.1 创建项目 ##

**创建工程：**  
![在这里插入图片描述][20200707092553577.png]  
**选择数据源：**  
![在这里插入图片描述][20200707092950919.png]  
**输入作为数据源的表：**  
![在这里插入图片描述][2020070709310853.png]

## 3.2 创建Model ##

**点击`New`按钮后点击`New Model`：**  
![在这里插入图片描述][20200707093349766.png]  
**填写`Model`名称及描述后`Next`：**  
![在这里插入图片描述][20200707093440654.png]  
**选择事实表：**  
![在这里插入图片描述][20200707093539682.png]  
**添加维度表及`join`字段：**  
![在这里插入图片描述][20200707093721153.png]  
**选择维度信息：**  
![在这里插入图片描述][20200707093845662.png]  
**选择度量信息：**  
![在这里插入图片描述][20200707093908700.png]  
**添加分区信息及过滤条件之后保存：**![在这里插入图片描述][20200707094001698.png]  
**`Model`创建成功：**  
![在这里插入图片描述][20200707094102997.png]

## 3.3创建Cube ##

**点击`New`按钮然后选择`New Cube`：**  
![在这里插入图片描述][20200707094500777.png]  
**选择`Model`及填写`Cube Name`：**  
![在这里插入图片描述][20200707094612479.png]  
**添加维度：**  
![在这里插入图片描述][20200707094645566.png]  
![在这里插入图片描述][2020070709471331.png]  
**添加需要做预计算的内容：**  
![在这里插入图片描述][20200707094744540.png]  
![在这里插入图片描述][2020070710554287.png]  
**动态更新相关（默认）：**  
![在这里插入图片描述][20200707094859418.png]  
**高阶模块（默认）**  
![在这里插入图片描述][20200707094923844.png]  
**`Cube`配置完成：**  
![在这里插入图片描述][2020070709495330.png]  
**触发预计算:**  
![在这里插入图片描述][20200707095031838.png]  
**查看`Build`进度:**  
![在这里插入图片描述][20200707095129237.png]  
**构建`Cube`完成**  
![在这里插入图片描述][20200707103722388.png]

## 3.4 Hive和Kylin性能对比 ##

**`Hive`查询：**

hive (default)> select d.dname,sum(e.sal) from emp e join dept d \
    on e.deptno = d.deptno group by d.dname;

![在这里插入图片描述][20200707110114960.png]  
**`Kylin`查询:**

① 进入`Insight`页面，在`New Query`中输入查询语句并`Submit`  
![在这里插入图片描述][20200707112048421.png]  
② 数据图表展示及导出  
![在这里插入图片描述][20200707112301437.png]  
③ 数据展示之柱状图  
![在这里插入图片描述][20200707112419392.png]  
④ 数据展示之饼状图  
![在这里插入图片描述][20200707112433314.png]

[20200706163222552.png]: https://img-blog.csdnimg.cn/20200706163222552.png
[20200706163447305.png]: https://img-blog.csdnimg.cn/20200706163447305.png
[20200706163755675.png]: https://img-blog.csdnimg.cn/20200706163755675.png
[20200706163857317.png]: https://img-blog.csdnimg.cn/20200706163857317.png
[20200706164147573.png]: https://img-blog.csdnimg.cn/20200706164147573.png
[20200706164325857.png]: https://img-blog.csdnimg.cn/20200706164325857.png
[20200706164446246.png]: https://img-blog.csdnimg.cn/20200706164446246.png
[20200706164659794.png]: https://img-blog.csdnimg.cn/20200706164659794.png
[2020070617351699.png]: https://img-blog.csdnimg.cn/2020070617351699.png
[20200707092553577.png]: https://img-blog.csdnimg.cn/20200707092553577.png
[20200707092950919.png]: https://img-blog.csdnimg.cn/20200707092950919.png
[2020070709310853.png]: https://img-blog.csdnimg.cn/2020070709310853.png
[20200707093349766.png]: https://img-blog.csdnimg.cn/20200707093349766.png
[20200707093440654.png]: https://img-blog.csdnimg.cn/20200707093440654.png
[20200707093539682.png]: https://img-blog.csdnimg.cn/20200707093539682.png
[20200707093721153.png]: https://img-blog.csdnimg.cn/20200707093721153.png
[20200707093845662.png]: https://img-blog.csdnimg.cn/20200707093845662.png
[20200707093908700.png]: https://img-blog.csdnimg.cn/20200707093908700.png
[20200707094001698.png]: https://img-blog.csdnimg.cn/20200707094001698.png
[20200707094102997.png]: https://img-blog.csdnimg.cn/20200707094102997.png
[20200707094500777.png]: https://img-blog.csdnimg.cn/20200707094500777.png
[20200707094612479.png]: https://img-blog.csdnimg.cn/20200707094612479.png
[20200707094645566.png]: https://img-blog.csdnimg.cn/20200707094645566.png
[2020070709471331.png]: https://img-blog.csdnimg.cn/2020070709471331.png
[20200707094744540.png]: https://img-blog.csdnimg.cn/20200707094744540.png
[2020070710554287.png]: https://img-blog.csdnimg.cn/2020070710554287.png
[20200707094859418.png]: https://img-blog.csdnimg.cn/20200707094859418.png
[20200707094923844.png]: https://img-blog.csdnimg.cn/20200707094923844.png
[2020070709495330.png]: https://img-blog.csdnimg.cn/2020070709495330.png
[20200707095031838.png]: https://img-blog.csdnimg.cn/20200707095031838.png
[20200707095129237.png]: https://img-blog.csdnimg.cn/20200707095129237.png
[20200707103722388.png]: https://img-blog.csdnimg.cn/20200707103722388.png
[20200707110114960.png]: https://img-blog.csdnimg.cn/20200707110114960.png
[20200707112048421.png]: https://img-blog.csdnimg.cn/20200707112048421.png
[20200707112301437.png]: https://img-blog.csdnimg.cn/20200707112301437.png
[20200707112419392.png]: https://img-blog.csdnimg.cn/20200707112419392.png
[20200707112433314.png]: https://img-blog.csdnimg.cn/20200707112433314.png