Hadoop生态圈之数据可视化报表Superset

古城微笑少年丶 2023-01-07 07:07 169阅读 0赞

### 目录 ###

*   *  第1章 Superset入门
     *   *  1.1 Superset概述
         *  1.2 Superset应用场景
     *  第2章 Superset安装及使用
     *   *  2.1 安装Python环境
         *   *  2.1.1 安装Miniconda
             *  2.1.2 创建Python3.6环境
         *  2.2 Superset部署
         *   *  2.2.1 安装依赖
             *  2.2.2 安装Superset
             *  2.2.3 启动Supterset
     *  第3章 Superset使用
     *   *  3.1 对接MySQL数据源
         *   *  3.1.1 安装依赖
             *  3.1.2 重启Superset
             *  3.1.3 数据源配置
         *  3.2 制作仪表盘
         *   *  3.2.1 创建空白仪表盘
             *  3.2.2 创建图表
         *  3.2.3 编辑仪表盘

## 第1章 Superset入门 ##

### 1.1 Superset概述 ###

> Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。

### 1.2 Superset应用场景 ###

> 由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]

## 第2章 Superset安装及使用 ##

Superset官网地址：http://superset.apache.org/

### 2.1 安装Python环境 ###

> Superset是由Python语言编写的Web应用，要求Python3.6的环境。

#### 2.1.1 安装Miniconda ####

> conda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同Python版本的软件包及其依赖，并能够在不同的Python环境之间切换，Anaconda包括Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas等，Miniconda包括Conda、Python。  
> 此处，我们不需要如此多的工具包，故选择MiniConda。

**1）下载Miniconda（Python3版本）**

下载地址：https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86\_64.sh

**2）安装Miniconda**

（1）执行以下命令进行安装，并按照提示操作，直到安装完成。

[superset@hadoop102 lib]$ bash Miniconda3-latest-Linux-x86_64.sh

（2）在安装过程中，出现以下提示时，可以指定安装路径  
![在这里插入图片描述][20210115200838692.png]

（3）出现以下字样，即为安装完成  
![在这里插入图片描述][20210115200844565.png]

**3）加载环境变量配置文件，使之生效**

[superset@hadoop102 lib]$ source ~/.bashrc

**4）取消激活base环境**

> Miniconda安装完成后，每次打开终端都会激活其默认的base环境，我们可通过以下命令，禁止激活默认base环境。

[superset@hadoop102 lib]$ conda config --set auto_activate_base false

#### 2.1.2 创建Python3.6环境 ####

**1）配置conda国内镜像**

(base) [superset@hadoop102 ~]$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
    (base) [superset@hadoop102 ~]$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
    (base) [superset@hadoop102 ~]$ conda config --set show_channel_urls yes

**2）创建Python3.6环境**

(base) [superset@hadoop102 ~]$ conda create --name superset python=3.6

说明：conda环境管理常用命令  
创建环境：conda create -n env\_name  
查看所有环境：conda info --envs  
删除一个环境：conda remove -n env\_name --all

**3）激活superset环境**

(base) [superset@hadoop102 ~]$ conda activate superset

激活后效果如下图所示

![在这里插入图片描述][20210115201332805.png]

说明：退出当前环境

(superset) [superset@hadoop102 ~]$ conda deactivate

**4）执行python命令查看python版本**  
![在这里插入图片描述][20210115201355763.png]

### 2.2 Superset部署 ###

#### 2.2.1 安装依赖 ####

安装Superset之前，需安装以下所需依赖

(superset) [superset@hadoop102 ~]$ sudo yum install -y python-setuptools
    (superset) [superset@hadoop102 ~]$ sudo yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel cyrus-sasl-devel openldap-devel

#### 2.2.2 安装Superset ####

**1）安装（更新）setuptools和pip**

(superset) [superset@hadoop102 ~]$ pip install --upgrade setuptools pip -i https://pypi.douban.com/simple/

说明：pip是python的包管理工具，可以和centos中的yum类比

**2）安装Supetset**

(superset) [superset@hadoop102 ~]$ pip install apache-superset -i https://pypi.douban.com/simple/

说明：-i的作用是指定镜像，这里选择国内镜像

**3）初始化Supetset数据库**

(superset) [superset@hadoop102 ~]$ superset db upgrade
    
    #如果安装报错：ModuleNotFoundError: No module named 'dataclasses'
    #解决： pip install dataclasses

**4）创建管理员用户**

(superset) [superset@hadoop102 ~]$ export FLASK_APP=superset
    (superset) [superset@hadoop102 ~]$ flask fab create-admin

说明：flask是一个python web框架，Superset使用的就是flask

**5）Superset初始化**

(superset) [superset@hadoop102 ~]$ superset init

#### 2.2.3 启动Supterset ####

**1）安装gunicorn**

(superset) [superset@hadoop102 ~]$ pip install gunicorn -i https://pypi.douban.com/simple/

说明：gunicorn是一个Python Web Server，可以和java中的TomCat类比  
2）启动Superset  
第一步：确保当前conda环境为superset，及下图所示  
![在这里插入图片描述][2021011520152746.png]

第二步：启动

(superset) [superset@hadoop102 ~]$ gunicorn --workers 5 --timeout 120 --bind hadoop102:8787  "superset.app:create_app()" --daemon

说明：  
–workers：指定进程个数  
–timeout：worker进程超时时间，超时会自动重启  
–bind：绑定本机地址，即为Superset访问地址  
–daemon：后台运行

**3）停止superset**  
停掉gunicorn进程

(superset) [superset@hadoop102 ~]$ ps -ef | awk '/superset/ && !/awk/{print $2}' | xargs kill -9

退出superset环境

(superset) [superset@hadoop102 ~]$ conda deactivate

**4）superset启停脚本**  
（1）创建superset.sh文件

[superset@hadoop102 bin]$ vim superset.sh

内容如下

#!/bin/bash
    
    superset_status(){ 
        result=`ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | wc -l`
        if [[ $result -eq 0 ]]; then
            return 0
        else
            return 1
        fi
    }
    superset_start(){ 
            # 该段内容取自~/.bashrc，所用是进行conda初始化
            # >>> conda initialize >>>
            # !! Contents within this block are managed by 'conda init' !!
            __conda_setup="$('/opt/module/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
            if [ $? -eq 0 ]; then
                eval "$__conda_setup"
            else
                if [ -f "/opt/module/miniconda3/etc/profile.d/conda.sh" ]; then
                    . "/opt/module/miniconda3/etc/profile.d/conda.sh"
                else
                    export PATH="/opt/module/miniconda3/bin:$PATH"
                fi
            fi
            unset __conda_setup
            # <<< conda initialize <<<
            superset_status >/dev/null 2>&1
            if [[ $? -eq 0 ]]; then
                conda activate superset ; gunicorn --workers 5 --timeout 120 --bind hadoop102:8787 --daemon 'superset.app:create_app()'
            else
                echo "superset正在运行"
            fi
    
    }
    
    superset_stop(){ 
        superset_status >/dev/null 2>&1
        if [[ $? -eq 0 ]]; then
            echo "superset未在运行"
        else
            ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs kill -9
        fi
    }
    
    
    case $1 in
        start )
            echo "启动Superset"
            superset_start
        ;;
        stop )
            echo "停止Superset"
            superset_stop
        ;;
        restart )
            echo "重启Superset"
            superset_stop
            superset_start
        ;;
        status )
            superset_status >/dev/null 2>&1
            if [[ $? -eq 0 ]]; then
                echo "superset未在运行"
            else
                echo "superset正在运行"
            fi
    esac

（2）加执行权限

[superset@hadoop102 bin]$ chmod +x superset.sh

（3）测试  
启动superset

[superset@hadoop102 bin]$ superset.sh start

停止superset

[superset@hadoop102 bin]$ superset.sh stop
    4）登录Superset

访问http://hadoop102:8787，并使用2.2.2节中第4步创建的管理员账号进行登录。

## 第3章 Superset使用 ##

### 3.1 对接MySQL数据源 ###

#### 3.1.1 安装依赖 ####

(superset) [superset@hadoop102 ~]$ conda install mysqlclient

说明：对接不同的数据源，需安装不同的依赖，以下地址为官网说明  
http://superset.apache.org/installation.html\#database-dependencies

#### 3.1.2 重启Superset ####

(superset) [superset@hadoop102 ~]$ superset.sh restart

#### 3.1.3 数据源配置 ####

**1）Database配置**

Step1：点击Sources/Databases  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]

Step2：点击＋  
![在这里插入图片描述][20210115201736141.png]

Step3：点击填写Database及SQL Alchemy URI

注：SQL Alchemy URI编写规范：mysql://账号:密码@IP/数据库名称  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 2]

Step4：点击Test Connection，出现“Seems Ok！”提示即表示连接成功  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 3]

Step5：保存配置  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 4]

**2）Table配置**

Step1：点击Sources/Tables  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 5]

Step2：点击Sources/Tables  
![在这里插入图片描述][20210115201807728.png]

Step3：配置Table  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 6]

### 3.2 制作仪表盘 ###

#### 3.2.1 创建空白仪表盘 ####

1）点击Dashboards/+  
![在这里插入图片描述][20210115201823564.png]

2）配置仪表盘  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 7]

3）保存仪表盘  
![在这里插入图片描述][20210115201832773.png]

#### 3.2.2 创建图表 ####

1）点击Charts/+  
![在这里插入图片描述][2021011520184192.png]

2）选则数据源及图表类型  
![在这里插入图片描述][20210115201845998.png]

3）选择何使的图表类型  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 8]

4）创建图表  
![在这里插入图片描述][20210115201855499.png]

5）可修改语言为中文，方便配置  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 9]

6）按照说明配置图表  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 10]

7）点击“Run Query”  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 11]

8）保存图表，并将其添加到仪表盘  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 12]

### 3.2.3 编辑仪表盘 ###

1）点击“Edit dashboard”  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 13]

2）调整图表大小以及图表盘布局  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 14]

3）点击下图中箭头，可调整仪表盘自动刷新时间  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 15]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]: /images/20221119/5af3c5e1b05e4a70b0646610fb91dc3d.png
[20210115200838692.png]: /images/20221119/3c577dcb7076446198165b14f9ac978c.png
[20210115200844565.png]: /images/20221119/b6d33aace5164d9898a6868d22c31f84.png
[20210115201332805.png]: /images/20221119/3deae53ff91e47aca58c7fe52514ae5d.png
[20210115201355763.png]: /images/20221119/b917506c9d06496c8d809c0f752d642a.png
[2021011520152746.png]: /images/20221119/326e2833157b4f1693ce7ac6319a2cb4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]: /images/20221119/ad2f823ed4d14f67812d31a7daff2e94.png
[20210115201736141.png]: /images/20221119/db459d86ef29440babb9824e15df8ca8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 2]: /images/20221119/8a198f7dfb134eb398b025bb464c0226.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 3]: /images/20221119/6c0dc68204354f3f8e8a7f9e540c22af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 4]: /images/20221119/c3b1e9cc079e4630bfd3a6388a5028d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 5]: /images/20221119/b8b12202151f47a7a5d4aab4ad8e5afb.png
[20210115201807728.png]: /images/20221119/ae8b606837ac4f0587f8fa09c5210756.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 6]: /images/20221119/69b47096b8094127911fa2ef2f6e5d9b.png
[20210115201823564.png]: /images/20221119/16ec1fe35e7848f98d05b6acedbab610.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 7]: /images/20221119/692dd37025604ffe87c84b45ba1fd543.png
[20210115201832773.png]: /images/20221119/9651b69137414784937370fbb8e235d7.png
[2021011520184192.png]: /images/20221119/f0144ece810e4d32b0256803d6578808.png
[20210115201845998.png]: /images/20221119/76afbae329d74c67ae5a4ef0a91a008f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 8]: /images/20221119/59032cea46e24f83860f1d898a1999d1.png
[20210115201855499.png]: /images/20221119/773409765adb49ecb9f121455ac1bf99.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 9]: /images/20221119/713d4e4d67ba4a2fbca29437592c6aff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 10]: /images/20221119/11a8d6ffcfde4b58aa074d7245987259.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 11]: /images/20221119/6da5fcfd9bf54140adb092d614090536.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 12]: /images/20221119/5259f39fc90c4ed5aa72710d55785e2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 13]: /images/20221119/e316d426919840aa9a81d8aa296f21aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 14]: /images/20221119/26f0166d63794977925f8eb73e1a23b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 15]: /images/20221119/c8e3df1a1db349c495a259fb6e1b60c1.png