Linkis安装

怼烎@ 2022-08-31 04:49 33阅读 0赞

**目录**

1、 安装java

2、安装MySQL

3、安装Python

4 创建部署⽤户

5 每个安装节点新增如下环境变量

4、安装matplotlib

5、创建本地⼯作⽬录

6、安装包准备

7、安装

8、启动Linkis

9、验证Linkis

> **eureka访问地址 —— 这里如有不懂，请查看我的大数据专栏，或者也可以直接忽略**  
> [**http://ambari-03:20303/**][http_ambari-03_20303]

## 1、 安装java ##

1# 上传jdk8稳定版压缩包到服务器目录&解压
    2sudo tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local/
    3
    4# 链接jdk - jdk1.8.0_231
    5sudo ln -s /usr/local/jdk1.8.0_231/ /usr/local/jdk
    6
    7# 移除安装包
    8rm -rf jdk-8u231-linux-x64.tar.gz

1# 配置java环境变量
     2sudo vi /etc/profile
     3
     4# 在配置文件末尾加上如下配置
     5export JAVA_HOME=/usr/local/jdk
     6export JRE_HOME=${JAVA_HOME}/jre
     7export CLASS_PATH=.:${JAVA_HOME}/lib/:${JRE_HOME}/lib
     8export PATH=${JAVA_HOME}/bin:$PATH
     9
    10# 使环境变量生效
    11source /etc/profile

![image-20210219134957133.png][]

1# 查看java版本
    2java -version

![image-20210219135258591.png][]

## 2、安装MySQL ##

# 安装mysql的yum仓库
     sudo wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm
     rpm -ivh mysql57-community-release-el7-9.noarch.rpm
     
     # 安装mysql(必须进入到 /etc/yum.repos.d/目录后再执行以下脚本)
     yum install mysql-server
     
     # 设置开机启动
     sudo systemctl enable mysqld
    
    # 启动MySQL
    sudo systemctl start mysqld
    
    # 查看MySQL的启动状态
    sudo systemctl status mysqld
    
    # 查看root临时密码(临时密码每次都是随机生成的)  (&fZPOuLl19i
    sudo grep 'temporary password' /var/log/mysqld.log
    
    # 使用临时密码登录
    mysql -uroot -p 
    
    # 重置密码
    set password = password('密码');
    
    # MySQL常用密码参数
    set global validate_password_policy=0;
    set global validate_password_mixed_case_count=0;
    set global validate_password_number_count=3;
    set global validate_password_special_char_count=0;
    set global validate_password_length=3;
    
    # 创建数据库
    CREATE DATABASE IF NOT EXISTS linkis DEFAULT CHARSET utf8 COLLATE
    utf8_general_ci;
    
    # 修改密码（'root'@'%' -- 允许远程连接）
    CREATE USER 'linkis'@'%' IDENTIFIED BY 'linkis%123';
    GRANT ALL ON linkis.* TO 'linkis'@'%';
    FLUSH PRIVILEGES;
    exit

# 上传驱动包mysql-connector-java-8.0.18.jar 到服务器/usr/share/java目录
    sudo mkdir -p /usr/share/java

## 3、安装Python ##

> 安装依赖环境

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

> 下载Python

cd /opt
     # 官网查看新版本 下载新版
     wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz
     
     # 安装在/usr/local/python3
     mkdir -p /usr/local/python3
     
     # 解压下载好的Python-3.x.x.tgz包
     tar -zxvf Python-3.7.1.tgz
    
    # 编译安装前需要安装编译器 安装gcc    
    yum install gcc
    
    # 3.7版本之后需要一个新的包libffi-devel
    yum install libffi-devel -y
    
    # 进入python文件夹，生成编译脚本(指定安装目录)
    cd Python-3.7.1
    ./configure --prefix=/usr/local/python3
    
    # 编译
    make
    
    # 编译成功后，编译安装
    make install
    
    # 检查python3.7的编译器
    /usr/local/python3/bin/python3.7
    
    # 建立Python3和pip3的软链
    ln -s /usr/local/python3/bin/python3 /usr/bin/python3
    ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
    
    # 并将/usr/local/python3/bin加入PATH
    vim /etc/profile
    
    ##########################################
    # vim ~/.bash_profile
    # .bash_profile
    # Get the aliases and functions
    if [ -f ~/.bashrc ]; then
    . ~/.bashrc
    fi
    # User specific environment and startup programs
    PATH=$PATH:$HOME/bin:/usr/local/python3/bin
    export PATH
    ############################################
    
    # 执行行下面的命令，让上一步的修改生效
    source ~/.bash_profile
    
    # 检查Python3及pip3是否正常可用：
    python3 -V
    pip3 -V

## 4 创建部署⽤户 ##

> 创建⼀个⽤于Linkis部署的⽤户并做免密，这⾥不再累述，咱们直接使⽤hadoop⽤户即可，前⾯已经做过免密了。

## 5 每个安装节点新增如下环境变量 ##

export JAVA_HOME=/usr/local/jdk
    export HADOOP_HOME=/usr/hdp/current/hadoop-client
    export HADOOP_CONF_DIR=/etc/hadoop/conf
    export HIVE_HOME=/usr/hdp/current/hive-client
    export HIVE_CONF_DIR=/etc/hive/conf
    export SPARK_HOME=/usr/hdp/current/spark2-client
    export SPARK_CONF_DIR=/etc/spark2/conf
    ### Pyspark必须加的参数
    export PYSPARK_ALLOW_INSECURE_GATEWAY=1

## 4、安装matplotlib ##

> 如果您的Pyspark想拥有画图功能，则还需在所有安装节点，安装画图模块。命令如下

python3 -m pip install matplotlib

> 如果没有安装pip需要先安装pip

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
    python3 get-pip.py

## 5、创建本地⼯作⽬录 ##

1mkdir -p /tmp/linkis/hadoop

## 6、安装包准备 ##

> 上传并解压缩安装包到指定⽬录：

mkdir linkis
    cd linkis
    mv ../../wedatasphere-linkis-0.9.3-dist.tar.gz .
    tar -zxvf wedatasphere-linkis-0.9.3-dist.tar.gz

> 修改基础配置

vi conf/config.sh

#指定SSH端⼝，如果单机版本安装可以不配置
     SSH_PORT=22
     #指定部署⽤户
     deployUser=hadoop
     # 指定安装⽬录
     LINKIS_INSTALL_HOME=/linkis
     # 指定⽤户根⽬录，⼀般⽤于存储⽤户的脚本⽂件和⽇志⽂件等，是⽤户的⼯作空间。（3.2.1.6 创建本
     地⼯作⽬录）
     WORKSPACE_USER_ROOT_PATH=file:///linkis/hadoop
    HDFS_USER_ROOT_PATH=hdfs:///tmp/linkis # 指定⽤户的HDFS根⽬录，⼀般⽤于存储Job的结果集⽂件
    # 如果您想配合Scriptis⼀起使⽤，CDH版的Hive，还需要配置如下参数（社区版Hive可忽略该配置）
    ## Provide the DB information of Hive metadata database.
    HIVE_META_URL=jdbc:mysql://ambari-01/hive   # HiveMeta元数据库的URL
    HIVE_META_USER=hive                        # HiveMeta元数据库的⽤户
    HIVE_META_PASSWORD=hive%123                # HiveMeta元数据库的密码
    
    # 配置hadoop/hive/spark的配置⽬录
    ###HADOOP CONF DIR
    HADOOP_CONF_DIR=/etc/hadoop/conf #hadoop的conf⽬录
    ###HIVE CONF DIR
    HIVE_CONF_DIR=/etc/hive/conf     #hive的conf⽬录
    ###SPARK CONF DIR
    SPARK_CONF_DIR=/etc/spark/conf #spark的conf⽬录

> 修改数据库配置

vi conf/db.sh

# 设置数据库的连接信息
    # 包括IP地址、数据库名称、⽤户名、端⼝
    # 主要⽤于存储⽤户的⾃定义变量、配置参数、UDF和⼩函数，以及提供JobHistory的底层存储
    MYSQL_HOST=node01
    MYSQL_PORT=3306
    MYSQL_DB=linkis
    MYSQL_USER=linkis
    MYSQL_PASSWORD=linkis%123

## 7、安装 ##

> 执⾏安装脚本

sh bin/install.sh

> 安装步骤

*  install.sh脚本会询问您安装模式。安装模式就是精简模式、简单模式或标准模式，请根据您准备的环境情况，选择合适的安装模式
 *  install.sh脚本会询问您是否需要初始化数据库并导⼊元数据。因为担⼼⽤户重复执⾏install.sh脚本，把数据库中的⽤户数据清空，所以在install.sh执⾏时，会  
    询问⽤户是否需要初始化数据库并导⼊元数据。第⼀次安装必须选是

> 是否安装成功

*  通过查看控制台打印的⽇志信息查看是否安装成功。如果有错误信息，可以查看具体报错原因。安装过程中会提示⼀些软件没装，直接安装即可

sudo yum -y install expect
    sudo yum -y install telnet
    sudo yum -y install dos2unix

## 8、启动Linkis ##

sh ./bin/start-all.sh

## 9、验证Linkis ##

> 可以在Eureka界⾯查看服务启动成功情况，查看⽅法：  
> 使⽤http://EUREKAINSTANCEIP:\{EUREKA\_PORT\} 在浏览器中打开，查看服务是否注册成功。如果您没有在config.sh指定EUREKA\_INSTALL\_IP和EUREKA\_INSTALL\_IP，则HTTP地址为：
> 
> [http://127.0.0.1:20303][http_127.0.0.1_20303]

![image-20210304152613276.png][]

[http_ambari-03_20303]: http://ambari-03:20303/
[image-20210219134957133.png]: /images/20220829/83f007da6a8545ea992542fa72eebda7.png
[image-20210219135258591.png]: /images/20220829/d83f5781cd3b48a4b84848129246de1b.png
[http_127.0.0.1_20303]: http://127.0.0.1:20303
[image-20210304152613276.png]: /images/20220829/5b63dc0a6e46427caffd701d97daf1ff.png