kylin可视化工具：superset安装

短命女 2022-02-13 06:39 355阅读 0赞

安装方式：

*  docker安装
 *  pip安装：在线/离线

# a, superset与关系型数据库 #

使用superset连接mysql, oracle, sqlserver , hive,hbase

#1, mysql
    yum install -y mysql-devel
    pip install mysqlclient pymysql 
    SQLAlchemy URI ⇒ mysql+pymsql://user:passwd@ip:3306/test
    
    # 2, sqlserver
    yum install freetds freetds-devel python-devel
    pip install pymssql
    yum install unixODBC-devel
    pip install pyodbc
    SQLAlchemy URI ⇒ mssql+pymssql://user:passwd@ip:1433/test
    
    # 3, oracle 
    #安装客户端: instantclient-basic-linux.x64-11.2.0.4.0.zip
    #解压zip包, cp * /usr/lib64, 配置export LD_LIBRARY_PATH=/usr/lib64/:$LD_LIBRARY_PATH
    https://www.oracle.com/technetwork/database/database-technologies/instant-client/downloads/index.html
    pip install cx_Oracle
    SQLAlchemy URI ⇒ oracle+cx_oracle://test:123456@192.168.56.1:1521/orcl
    
    # 4, hive
    pip install pyhive
    SQLAlchemy URI ⇒ hive://ip:10000
    
    # 5,hbase
    pip install  pyPhoenix phoenixdb
    SQLAlchemy URI ⇒ phoenix://ip:8765

# b, superset权限控制 #

## I, public权限 ##

图表嵌入html中报权限错误：\{“error”: “This endpoint requires the datasource birth\_names, database or\\n `all_datasource_access` permission”\}

⇒ 解决： 在 superset/config.py 配置GAMMA权限，并且登陆web控制台(安全–>角色列表–> 选择public: 编辑记录–> 搜索all\_datasource\_access， 添加相关的选项，保存退出即可)

# ---------------------------------------------------
    # Roles config
    # ---------------------------------------------------
    # Grant public role the same set of permissions as for the GAMMA role.
    # This is useful if one wants to enable anonymous users to view
    # dashboards. Explicit grant on specific datasets is still required.
    PUBLIC_ROLE_LIKE_GAMMA = TRUE

## II, 查看dashboard权限 ##

安全—> 角色列表–>找到对应的角色： 添加权限

can dashboard on Superset   
    can explore json on Superset

# 1，centos 6: pip在线安装 #

参照官网：[http://superset.apache.org/installation.html][http_superset.apache.org_installation.html]， 前提中有说明pyton3.6最合适

# 1,安装依赖包
    sudo yum upgrade python-setuptools
    sudo yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel
    
    # 2, 安装python3
    ###################
     或使用python2安装pip: 
     curl 'https://bootstrap.pypa.io/get-pip.py' > get-pip.py
     python get-pip.py
    ###################
    wget https://www.python.org/ftp/python/3.6.1/Python-3.6.1.tgz
    tar vxf Python-3.6.1.tgz
    cd Python-3.6.1
    ./configure --prefix=/usr/local/python3  
    make && make install
    echo  'export PATH=$PATH:/usr/local/python3/bin'>>/etc/profile
    source /etc/profile
    pip3 install kylinpy 					#防止后面连接kylin报错
    
    # 3，安装python虚拟环境
    pip3 install virtualenv
    python3 -m venv venv
    source venv/bin/activate
    
    # 4, 升级pip, setuptools 
    pip3 install --upgrade setuptools pip
    
    # 5, 安装superset
    pip3 install superset
    fabmanager create-admin --app superset  # 创建管理员账号
    
    # 6, 配置元数据库
    ########## a, 使用mysql做元数据库
    #编辑 python2.7/site-packages/superset/config.py
    # 注释掉原配置：
    #SQLCHEMY_DATABASE_URL = 'sqlite:///' + os.path.join(DATA_DIR,'superset.db')
    #将SQLALCHEMY_DATABASE_URI参数改为mysql连接信息：
    #SQLALCHEMY_DATABASE_URI = 'mysql+pymysql://root:123456@localhost/dbname'
    ########## b,安装python对mysql的依赖,解决报错No module named 'MySQLdb'
    # pip3 install pymysql
    
    # 7，启动服务
    superset db upgrade       				# 更新数据库
    superset load_examples 					# 加载官方提供的样例数据
    superset init      					    # 创建/更新角色，权限
    superset runserver -d  					# 默认使用 8088端口， 使用 -p 覆盖默认的端口
    
    # 8, 添加kylin数据源
    数据库连接url:  kylin://ADMIN:KYLIN@ip:7070/project

服务启动后，访问serverip:8088/, 登陆，配置kylin数据源，报错如下：

ERROR: {"error": "Connection failed!\n\nThe error message returned was:\nCan't load plugin: sqlalchemy.dialects:kylin"}
    #解决 ： pip3 install kylinpy

把superset的图表嵌入html中报错： HTTP\_HEADERS = \{‘X-Frame-Options’: ‘SAMEORIGIN’\}  
解决：需要修改配置 superset/config.py 配置

#修改配置，允许嵌入到其他页面
    # vi /usr/local/python3/lib/python3.6/site-packages/superset/config.py: 内容如下
    # vi /root/venv/lib/python3.6/site-packages/superset/config.py
    #HTTP_HEADERS = {'X-Frame-Options': 'SAMEORIGIN'}# 这是默认的配置，需要注释，解开下面的配置
    # If you need to allow iframes from other domains (and are
    # aware of the risks), you can disable this header:
    HTTP_HEADERS = {}
    
    #退出编辑，使得更改生效
    superset init   #服务不用重启，再次访问页面即可显示正常

## 1.2 常见报错：\_sqlite3， '\_maybe\_box\_datetimelike，Can’t determine which FROM clause to join from, there are multiple FROMS ##

Error: No module named '_sqlite3
    解决：
    1、yum -y install sqlite-devel
    2、cd  Python-3.5.2       （python源码安装文件解压后的文件夹）
    3、./configure --enable-loadable-sqlite-extensions --prefix=/usr/local/python3
    4、 make && make install
    --------------------- 
    
    Error: cannot import name '_maybe_box_datetimelike'
    解决：
    # 查看当前 pandas 版本
    pip list | grep pandas
    pandas  0.24.2
    # 安装低版本 pandas
    pip install pandas==0.23.4
    
    Can't determine which FROM clause to join from, there are multiple FROMS 
    解决：
    pip install SQLAlchemy==1.2

# 2，centos6 离线安装 #

在上面提到的在线安装完成后，就可以把pip的安装包，打包转移为离线安装了，具体操作涉及python 的pip 语法：

# 1， 转移python3.6的环境: 拷贝打包后的my-python3.6.tar到新的机器上：/usr/local/python3
    tar -cvf ~/my-python3.6.tar  /usr/local/python3
    
    # 2，查看pip安装的软件，并把安装包下载到指定目录： 拷贝到新机器上
    pip3 freeze  >require.txt
    pip3 download -d superset-packs  -r require.txt   
    
    # 3， 在新的机器上，使用pip 安装拷贝过来的并且解压后的包
    pip3 install --no-index --find-links= superset-packs   -r require.txt
    
    #pip3 download -d  sqlal-packs  SQLAlchemy==1.2.18 # 这里需要覆盖这个包，否则后面superset  db upgrade  会报错can't determine which from clause to join from
    #pip3 install --no-index --find-links= sqlal-packs  SQLAlchemy==1.2.18 #覆盖最新的安装包，避免报错

# 3， centos 7: docker安装 #

由于centos6运行docker不稳定，所以只能在centos7 上可以使用docker快速安装使用superset  
官网提供以下命令来编译docker镜像

git clone https://github.com/apache/incubator-superset/
    cd incubator-superset/contrib/docker
    # prefix with SUPERSET_LOAD_EXAMPLES=yes to load examples:
    docker-compose run --rm superset ./docker-init.sh
    # you can run this command everytime you need to start superset now:
    docker-compose up

但是一直编译报错，在Dockerfile中有一行报错，所以还是直接到dockerhup上搜索编译好的镜像比较方便：[https://hub.docker.com/r/amancevice/superset][https_hub.docker.com_r_amancevice_superset]

# 1，拉取镜像
    docker pull docker.io/amancevice/superset
    # 2，启动容器
    docker volume create superset 
    docker run -d -p 8088:8088  -v superset:/home/superset  --name superset-new    amancevice/superset
    # 3, 进入容器，初始化superset：权限，数据库
    # Upgrade the DB
    docker exec superset-new superset db upgrade
    # Sync the base permissions
    docker exec superset-new superset init
    ##连接kylin会包错，没有安装kylinpy, 使用root用户登陆，安装软件
    # docker exec superset-new  -it  -u root  bash 
    #进入后，apt 安装pip, pip 安装kylinpy, 最后有必要的话commit这个容器为新的镜像

[http_superset.apache.org_installation.html]: http://superset.apache.org/installation.html
[https_hub.docker.com_r_amancevice_superset]: https://hub.docker.com/r/amancevice/superset