Apache Kylin和Superset集成，使用开源组件，完美打造OLAP系统

你的名字 2022-04-15 04:42 260阅读 0赞

## Superset 的前世今生 ##

Superset 起源于 2015 年初黑客马拉松项目，曾经使用过 Caravel 和 Panoramix 作为项目名。现在主要维护小组是 Airbnb 数据科学组，代码托管在 Github。作为 Apache 软件基金会孵化项目，Superset 目标是要做成数据可视化平台。

Superset 对于数据源端通过一个成熟的 OR-Mapping 方案对接了几乎市面上所有数据库产品，数据的分析和建模再使用 Pandas 统一加工序列化后由前端渲染展示. 进而前端渲染出众多富有表现力的可视化图表，这些可视化技术包括但不限于: D3，react stack，mapbox，deck.gl。

笔者在使用 Superset 过程中也感觉到一些不足，例如无法通过权限隔离不同用户可访问的数据源，数据查询暂时不支持下钻操作，多数据源不容易做交互查询等。但是瑕不掩瑜，Superset 依然是现在这个星球上最好的开源 BI 平台。

![superset][]

## Apache Kylin 与 Superset 集成 ##

交互式分析是 Apache Kylin 与 Superset 共同的产品目标，使用 Kylin 作为 Superset 查询，数据经过 Kylin Cube 的预计算处理，在 Superset 前端进行可视化分析想必是快到飞起，真可谓是强强联合。

Kyligence 数据科学小组开源了 kylinpy 项目完成了 Kylin 与 Superset 数据源的集成。现在我们就来手把手教读者实现 Kylin 和 Superset 的集成，并实现交互式的可视化分析。

### 准备工作 ###

1. 安装 Apache Kylin

请参考 Apache Kylin installation guide：http://kylin.apache.org/docs23/

2. Apache Kylin 提供了样例 Cube，方便大家学习使用。Kylin 启动成功后，可以在 Kylin 安装路径下运行以下命令生成样例数据 Cube:

***         ./$\{KYLIN\_HOME\}/bin/sample.sh***

运行后，使用默认的 Kylin 账号 ADMIN / KYLIN  登陆界面，在 System 页面点击 Reload Metadata 即可看到样例项目 Learn\_kylin。

选择样例 Cube “Kylin\_sales\_cube”，点击 Action -> Build。选择日期不要晚于 2014-01-01 来进行全量构建。

![superset][superset 1]

点击前往 Monitor 页面查看 Cube 构建的进程，知道100%完成，Cube 就可以进行查询了。

前往 Insight 页面执行一个查询验证 Cube 能够返回结果。

***select part\_dt**，*  
*sum(price) as total\_selled**，*  
*count(distinct seller\_id) as sellers  
from kylin\_sales  
group by part\_dt  
order by part\_dt***

查询会击中新构建的 Kylin\_sales\_cube。

3. 下面我们安装 Superset，并初始化。

强烈建议使用虚拟环境来安装所有的依赖包(virtualenv/virtualenvwrapper)

**通过 PyPi 仓库安装 superset**

*pip install superset*

**创建初始超级用户: admin/admin**

*fabmanager create-admin –app superset –username admin –password admin –firstname admin –lastname admin –email [admin@fab.org][admin_fab.org]*

**使用默认 sqllite metadata，位于 $HOME/.superset/superset.db，并且根据 migrate 创建表结构**

*superset db upgrade*

**初始化 role 等**

*superset init*

执行如上4条命令便可以在 POSIX 操作系统上部署 Superset，如想加载 Superset提供的例子数据，可以再执行

*superset load\_examples*

4. 安装 kylinpy

*pip install kylinpy*

5. 安装验证，如果一切顺利，Superset daemon应该可以跑起来了

\-d 选项可以打开 debug 模式

***superset runserver -d***

*Starting server with command:*  
*gunicorn -w 2 –timeout 60 -b  0.0.0.0:8088 –limit-request-line 0 –limit-request-field\_size 0 superset:app*

*\[2018-01-03 15:54:03 +0800\] \[73673\] \[INFO\] Starting gunicorn 19.7.1  
\[2018-01-03 15:54:03 +0800\] \[73673\] \[INFO\] Listening at: http://0.0.0.0:8088 (73673)  
\[2018-01-03 15:54:03 +0800\] \[73673\] \[INFO\] Using worker: sync  
\[2018-01-03 15:54:03 +0800\] \[73676\] \[INFO\] Booting worker with pid: 73676  
\[2018-01-03 15:54:03 +0800\] \[73679\] \[INFO\] Booting worker with pid: 73679*

….

### **建立连接** ###

现在所有的准备工作已经完毕，我们来试试在 Superset 中创建一个 Apache Kylin 数据源。

1. 浏览器打开 http://localhost:8088 帐号密码是刚才 fabmanager 创建的 admin/admin。

![superset][superset 2]

点击 Source —> Datasource，如下配置，注意如下几点：

*  SQLAlchemy URI 格式为:

*kylin://<username>:<password>@<hostname>:<port>/<project name>*

*  勾选 Expose in SQL Lab 后这个数据源便可以在 SQL Lab 中展示出来。
 *  点击 Test Connection 可以测试链接是否成功。

创建 Kylin 数据源

![superset][superset 3]

测试连接

![superset][superset 4]

### **查询**** Kylin ****表单** ###

连接成功后页面最下会展示这个 Kylin 项目内所有的表。

![superset][superset 5]

1. 点击 Source —> Tables，添加 Table，此处需要手动输入需要添加的表名。

![superset][superset 6]2. 在所有列表中选定相应的表，就可以开始查询之旅啦。

![superset][superset 7]

### **使用**** SQL Lab ****查询**** Apache Kylin ****多表** ###

熟悉 Kylin 的读者都知道，Kylin Cube 通常都是以多表关联建模为基础生成的，因此分析 Kylin Cube 的数据时，使用多表进行查询对于 Kylin 来说是非常常见的场景。在使用 Superset 分析 Kylin 数据时，我们可以使用 Superset 中的 SQL Lab 功能来查询多表，并对其进行可视化分析。

在这里我们以一个可以击中 Kylin 中的 sample cube ‘kylin\_sales\_cube’ 的查询为例。

![superset][superset 8]

查询返回后点击可视化按键即可针对当前查询进行可视化分析。

![superset][superset 9]

你可以复制下面的完整查询来体验 SQL Lab 查询 Kylin Cube 的功能。

***select YEAR\_BEG\_DT,*  
*MONTH\_BEG\_DT**，*  
*WEEK\_BEG\_DT**，*  
*META\_CATEG\_NAME**，*  
*CATEG\_LVL2\_NAME,  
CATEG\_LVL3\_NAME,  
OPS\_REGION,  
NAME as BUYER\_COUNTRY\_NAME,  
sum(PRICE) as GMV,  
sum(ACCOUNT\_BUYER\_LEVEL) ACCOUNT\_BUYER\_LEVEL,  
count(\*) as CNT  
from KYLIN\_SALES  
join KYLIN\_CAL\_DT  
on CAL\_DT=PART\_DT  
join KYLIN\_CATEGORY\_GROUPINGS  
on SITE\_ID=LSTG\_SITE\_ID  
and KYLIN\_CATEGORY\_GROUPINGS.LEAF\_CATEG\_ID=KYLIN\_SALES.LEAF\_CATEG\_ID  
join KYLIN\_ACCOUNT  
on ACCOUNT\_ID=BUYER\_ID  
join KYLIN\_COUNTRY  
on ACCOUNT\_COUNTRY=COUNTRY  
group by YEAR\_BEG\_DT,  
MONTH\_BEG\_DT**，*  
*WEEK\_BEG\_DT**，*  
*META\_CATEG\_NAME**，*  
*CATEG\_LVL2\_NAME,  
CATEG\_LVL3\_NAME,  
OPS\_REGION,  
NAME***

### **使用**** Superset ****的多种功能查询**** Apache Kylin** ###

根据很多 Apache Kylin 用户在对接可视化及报表分析前端时，所提出的一些常见需求，我们对Superset 的相应功能也做了一些测试，可以说企业对于报表分析及可视化展现所需要的绝大部分功能，Superset 都已经可以提供了。

***排序***

Superset 支持使用任意数据源上定义的度量进行排序，不论这个度量是否在图表上。

![superset][superset 10]

![superset][superset 11]

***过滤功能***

在 Superset 中有多种过滤功能都可以使用在对 Kylin 的查询中。

*1. 日期过滤*

在 Superset 中你可以对定义为时间列的维度进行日期和时间的过滤。

![superset][superset 12]*2. 维度过滤*

对于其他非时间维度，Superset 也提供了维度的筛选器，支持 SQL 中的 in，not in，等于，不等于，大于等于，小于等于，小于，大于，like 等多种过滤方式。

![superset][superset 13]*3. 报表内搜索*

你可以在报表返回后使用**搜索框功能**对数据进行筛选。

![superset][superset 14]*4. 度量过滤*

对于度量 Superset 支持用户直接写入 SQL 的having 表达式。

![superset][superset 15]*5. 联动过滤*

使用 Superset 中提供的过滤框可视化组件，可以实现一个过滤器联动过滤多个可视化图形的效果。

如下图，过滤框组件可以联动控制仪表盘上的所有可视化图形。

![superset][superset 16]*6. Top N*

你可以通过对数据进行排序和设置返回行数限制来实现展示 Top 10／Bottom 10 等功能。

![superset][superset 17]*7. 分页*

在返回的数据量较大时，Superset 支持设置每页数据行数实现数据的分页。

![superset][superset 18]

*8. 多种可视化*

Superset 提供多样的可视化图表选择，这里仅以世界地图和气泡图为例作为展示。

![superset][superset 19]

![superset][superset 20]

![superset][superset 21]

*9. 其它功能*

另外 Superset 还支持数据导出 CSV，报表分享，查看报表 SQL 等功能。

*10. 中文支持*

最重要的是，Superset 由于社区的贡献已提供了中文版本！

Superset 使用了 Flask 的翻译扩展工具 Flask-Babel（http://packages.python.org/Flask-Babel/） ，使用了这个扩展包后，每个对应的语言版本只需要在翻译文件中将对应的 Superset 文字翻译成中文即可，这使得 Superset 社区的中文用户可以很容易的贡献翻译内容。

![superset][superset 22]

### **总结** ###

多个开源项目的结合往往能产生1+1>2的效果，Kylin 专注于 OLAP 计算引擎，Superset 专注于数据可视化展现. 分析师手中的双剑合璧实现交互式分析，让企业使用大数据技术显著提升生产力。

[superset]: /images/20220415/860f681d71534c7999f08607485c5c6e.png
[superset 1]: /images/20220415/bd5e498df94b47bf9e664f519b66ba8f.png
[admin_fab.org]: mailto:admin@fab.org
[superset 2]: /images/20220415/5f8318fb6b6846e8be967fa107f0952d.png
[superset 3]: /images/20220415/78f8505c0b6247a08fa49f837b27d544.png
[superset 4]: /images/20220415/f0bd5e5d441d442e8388dd87fd25b61e.png
[superset 5]: /images/20220415/40d9018ccd1c4f8199a6be4f990e77bc.png
[superset 6]: /images/20220415/4532fe57a09a4d4e9a36c81a5df2908f.png
[superset 7]: /images/20220415/18134112e492426185b7a4c87cfb55f1.png
[superset 8]: /images/20220415/2c044dcfa1414ea6900de0c3884d2f9c.png
[superset 9]: /images/20220415/0046df4c85c94d7db2452c02ff25b46c.png
[superset 10]: /images/20220415/70903575af334e7b99823913055bdaae.png
[superset 11]: /images/20220415/8116406bc5f540329664c2a28c6a62a9.png
[superset 12]: /images/20220415/6f0fb5e176ab48edb908936b6577c75b.png
[superset 13]: /images/20220415/76fa3adb9abc41ed98d06be3b037d9fb.png
[superset 14]: /images/20220415/c615f43ec91d4c1b91fc6128cc662844.png
[superset 15]: /images/20220415/a746b7c972f64c13aadfbf7c7b3f75fe.png
[superset 16]: /images/20220415/8b690c32296147a7adfe4c534198357a.png
[superset 17]: /images/20220415/224a88867c524d088894c99a3cd52572.png
[superset 18]: /images/20220415/b0e141a2f62f4f468a05195b5dc55537.png
[superset 19]: /images/20220415/981c3506f5be4e63ab908da1e97e82fd.png
[superset 20]: /images/20220415/12831c3732954458a039f1fab0e440c8.png
[superset 21]: /images/20220415/c5f7b38cc8684e2399f40217d31c2b72.png
[superset 22]: /images/20220415/462ca678696a46e0a8245bc8ea834eaa.png