Apache kylin安装配置

不念不忘少年蓝@ 2022-07-13 03:55 330阅读 0赞

Apache kylin是基于 hadoop hive hbase的。

一、安装hadoop

注：需要启动 history  与 WebAppProxyServer

./mr-jobhistory-daemon.sh start historyserver
    ./yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver

二、安装hbase

三、安装hive

四、安装kylin

--------------------

1、配置环境变量

加上kylin 的环境变量

#java_home
       export JAVA_HOME=/usr/java/jdk1.7.0_79
       export JRE_HOME=$JAVA_HOME/jre
       export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH
       export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH
       
       ##HBASE
       export HBASE_HOME=/home/lin/hbase-1.1.2
       export HBASE_CONF_DIR=/home/lin/hbase-1.1.2/conf
       export PATH=$PATH:$HBASE_HOME/bin
       
       
       #hadoop_home
       export HADOOP_HOME=/home/lin/hadoop-2.6.1
       export HADOOP_CONF_DIR=/home/lin/hadoop-2.6.1/etc/hadoop
       export YARN_CONF_DIR=/home/lin/hadoop-2.6.1/etc/hadoop
       export PATH=$PATH:$HADOOP_HOME/bin
       
       #hive_home
       export HIVE_HOME=/home/lin/apache-hive-1.2.1-bin
       export HCAT_HOME=$HIVE_HOME/hcatalog
       export HIVE_CONF=$HIVE_HOME/conf
       export PATH=$PATH:$HIVE_HOME/bin

生效环境变量

source  /etc/profile

2、配置kylin.properties

# List of web servers in use, this enables one web server instance to sync up with other servers.
       kylin.rest.servers=192.168.0.222:7070

这里可以配置多个，用逗号分隔。

# Kylin server mode, valid value [all, query, job]
       kyin.server.mode=all

这里可以使用all，job或者query。

# Hive database name for putting the intermediate flat tables
       kylin.job.hive.database.for.intermediatetable=lin

3、检查环境

bin/check-env.sh

4、启动kylin

bin/kylin.sh start

5、停止kylin

bin/kylin.sh stop

注：访问时候使用 ip:7070  ;  ADMIN/KYLIN

五：数据准备

--------------------

使用kylin给的demo。执行bin里面的

[root@bjspxt bin]# ./sample.sh

出现如下语句，证明创建成功

Sample cube is created successfully in project 'learn_kylin'.
        Restart Kylin server or reload the metadata from web UI to see the change.

生成准备数据，需要重启kylin。重启后会有项目 learn\_kylin。

查看hive

hive> show tables;
        OK
        kylin_cal_dt
        kylin_category_groupings
        kylin_country
        kylin_sales
        Time taken: 1.952 seconds, Fetched: 4 row(s)

证明已经成功。

表关系如下：

![Center][]

六、在kylin上进行数据建模

--------------------

执行kylin的demo后，重启kylin后 会有demo所包含的 project  model cube 自己只用运行就行了。下面只是我做的一个例子，仅供步骤参考：

1、建立项目： 点击左上方的+号新建项目 user\_info;

![Center 1][]

2、同步hive的数据源：在model中选择Data Source ，同步数据源

![Center 2][]

3、建立数据模型model：选择new model。命名model 选择table

选择维度数据：

![Center 3][]

4、建立数据cube：

（1）选择之前建立的model，自己填写cube name，其中邮箱填写后可以收到相关通知信息，通知消息类型在下面选择。

![Center 4][]

（2）设计维度：

add demension。选择normal。建立维度。

![Center 5][]

（3）设计指标

\+measure。

![Center 6][]

（4）其他参数设置，合并时间，保留时间等

![Center 7][]

七、执行建模数据

--------------------

1、在cube开面可以看到刚刚建立的cube，在action里面选择build

![Center 8][]

2、在monitor里面可以查看job运行状态

![Center 9][]

3、成功后，在cube界面，可以看到ready的cube，查看他的详细信息。

![Center 10][]

然后在页面可以进行查询

[Center]: /images/20220713/c5b259028225414fa9d7b25f603d5099.png
[Center 1]: /images/20220713/41f9180abb084f47b926093f17bc3692.png
[Center 2]: /images/20220713/604ff7488cdb4142995eb21a8ed234a7.png
[Center 3]: /images/20220713/41e9ea06ef84417f90c1631a35963187.png
[Center 4]: /images/20220713/7da3e61ef2124a75a41dd06d245b4d14.png
[Center 5]: /images/20220713/d9c67bfb79ad4dbfbc2e70e8902f546c.png
[Center 6]: /images/20220713/86614d4808a943fc961d31868c717ef8.png
[Center 7]: /images/20220713/838195ccc0f04067a0d57d4a94677dad.png
[Center 8]: /images/20220713/f20076cf3c91491fb802e3b864119662.png
[Center 9]: /images/20220713/01eac9e1a3c644b996d86040c45eb695.png
[Center 10]: /images/20220713/c5d9c78a44684db188eab94bff377fad.png