大数据管理平台DataSophon-1.1.1安装部署详细流程

电玩女神 2024-03-16 10:34 18阅读 0赞

## 1 DataSophon介绍 ##

### 1.1 DataSophon愿景 ###

DataSophon致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台，帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

### 1.2 DataSophon是什么 ###

《三体》，这部获世界科幻文学最高奖项雨果奖的作品以惊艳的"硬科幻"风被大家所熟知，其作者刘慈欣更是被誉为"单枪匹马将中国科幻提高到世界级水平  
作为三体中非常重要的角色，智子(Sophon)是将九维的质子进行二维展开，通过电路蚀刻改造成超级计算机后，再转回到微观的十一维来监控人类的一举一动，并利用量子纠缠实现瞬时通信报告给4光年之外的三体文明。说白了智子是三体文明部署在地球的AI实时远程监控和管理平台。

DataSophon也是个类似的管理平台，只不过与智子不同的是，智子的目的是锁死人类的基础科学阻碍人类技术爆炸，而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务

### 1.3 DataSophon主要特性 ###

① 快速部署,可快速完成300个节点的大数据集群部署  
② 兼容复杂环境,极少的依赖使其很容易适配各种复杂环境  
③ 监控指标全面丰富，基于生产实践展示用户最关心的监控指标  
④ 灵活便捷的告警服务，可实现用户自定义告警组和告警指标  
⑤ 可扩展性强，用户可通过配置的方式集成或升级大数据组件

### 1.4 整体架构 ###

![在这里插入图片描述][ac86e2b179e641b0812f6643134ab627.png]

### 1.5 集成组件 ###

各集成组件均进行过兼容性测试，并稳定运行于300+个节点规模的大数据集群，日处理数据量约4000亿条。在海量数据下，各大数据组件调优成本低，平台默认展示用户关心和需要调优的配置。

<table> 
 <thead> 
  <tr> 
   <th>序号</th> 
   <th>名称</th> 
   <th>版本</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>HDFS</td> 
   <td>3.3.3</td> 
   <td>分布式大数据存储</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>YARN</td> 
   <td>3.3.3</td> 
   <td>分布式资源调度与管理平台</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>ZooKeeper</td> 
   <td>3.5.10</td> 
   <td>分布式协调系统</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>FLINK</td> 
   <td>1.15.2</td> 
   <td>实时计算引擎</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>DolphoinScheduler</td> 
   <td>3.1.1</td> 
   <td>分布式易扩展的可视化工作流任务调度平台</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>StreamPark</td> 
   <td>1.2.3</td> 
   <td>流处理极速开发框架,流批一体&amp;湖仓一体的云原生平台</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>Spark</td> 
   <td>3.1.3</td> 
   <td>分布式计算系统</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>Hive</td> 
   <td>3.1.0</td> 
   <td>离线数据仓库</td> 
  </tr> 
  <tr> 
   <td>9</td> 
   <td>Kafka</td> 
   <td>2.4.1</td> 
   <td>高吞吐量分布式发布订阅消息系统</td> 
  </tr> 
  <tr> 
   <td>10</td> 
   <td>Trino</td> 
   <td>367</td> 
   <td>分布式Sql交互式查询引擎</td> 
  </tr> 
  <tr> 
   <td>11</td> 
   <td>Doris</td> 
   <td>1.1.5</td> 
   <td>新一代极速全场景MPP数据库</td> 
  </tr> 
  <tr> 
   <td>12</td> 
   <td>Hbase</td> 
   <td>2.4.16</td> 
   <td>分布式列式存储数据库</td> 
  </tr> 
  <tr> 
   <td>13</td> 
   <td>Ranger</td> 
   <td>2.1.0</td> 
   <td>权限控制框架</td> 
  </tr> 
  <tr> 
   <td>14</td> 
   <td>ElasticSearch</td> 
   <td>7.16.2</td> 
   <td>高性能搜索引擎</td> 
  </tr> 
  <tr> 
   <td>15</td> 
   <td>Prometheus</td> 
   <td>2.17.2</td> 
   <td>高性能监控指标采集与告警系统</td> 
  </tr> 
  <tr> 
   <td>16</td> 
   <td>Grafana</td> 
   <td>9.1.6</td> 
   <td>监控分析与数据可视化套件</td> 
  </tr> 
  <tr> 
   <td>17</td> 
   <td>AlertManager</td> 
   <td>0.23.0</td> 
   <td>告警通知管理系统</td> 
  </tr> 
 </tbody> 
</table>

## 2 环境准备 ##

### 2.0 DataSophon安装包 ###

链接：https://pan.baidu.com/s/1QWTMadCGLiAL-XqeS6AygQ 
    提取码：2gd2

选择需要安装的DataSophon版本，并选择对应的datasophon-manager版本。本文以最新的DataSophon-1.1.1版本为例。

### 2.1 网络要求 ###

要求各机器各组件正常运行提供如下的网络端口配置：

<table> 
 <thead> 
  <tr> 
   <th>组件</th> 
   <th>默认端口</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>DDHApplicationServer</td> 
   <td>8081、2551、8586</td> 
   <td>8081为http server端口，2551为rpc通信端口，8586为jmx端口</td> 
  </tr> 
  <tr> 
   <td>WorkerApplicationServer</td> 
   <td>2552、9100、8585 2552</td> 
   <td>rpc通信端口，8585为jmx端口，9100为主机数据采集器端口</td> 
  </tr> 
  <tr> 
   <td>nginx</td> 
   <td>8888</td> 
   <td>提供 UI 端通信端口</td> 
  </tr> 
 </tbody> 
</table>

注：  
① DDHApplicationServer为API接口层即web后端，主要负责处理前端UI层的请求。该服务统一提供RESTful api向外部提供请求服务。  
② WorkerApplicationServer负责执行DDHApplicationServer发送的指令，包括服务安装、启动、停止、重启等指令。

### 2.2 配置hosts ###

大数据集群所有机器需配置主机host。

配置主机名： hostnamectl set-hostname 主机名

配置/etc/hosts文件

### 2.3 关闭防火墙 ###

### 2.4 集群免密 ###

部署机器中，DataSophon节点以及大数据服务主节点与从节点之间需免密登录。

配置免密

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 600 ~/.ssh/authorized_keys

集群之间完成免密

ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机

### 2.5 环境要求 ###

Jdk环境需安装。建议mysql版本为5.7.X，并关闭ssl。

### 2.6 创建目录 ###

mkdir -p /opt/datasophon/DDP/packages

将下载的部署包上传到/opt/datasophon/DDP/packages目录下，作为项目部署包仓库地址。  
注：需要将默认安装包建立在这个目录下，否则会报找不到目录错，如下：  
![在这里插入图片描述][0310264886fd41f9bb6e218e8771648b.png]

## 3 部署 ##

### 3.1 部署mysql ###

注意需关闭mysql ssl功能。在部署过程中，部分组件会执行sql生成库表，不同环境的mysql在配置上存在差异，可根据sql执行情况，变更mysql配置。

#### 3.1.1 关闭ssl ####

#使用如下命令查看ssl是否关闭，如果have_ssl的值为YES，说明SSL已经开启
    SHOW VARIABLES LIKE '%ssl%';

![在这里插入图片描述][450aa6aa103745058cec17d2cdd7422e.png]  
修改配置文件my.cnf，在MySQL的配置文件my.cnf中加入以下内容：

#disable_ssl
    skip_ssl

这个配置的作用是告诉MySQL不要使用SSL协议。在修改配置文件之前，最好备份一下，以免出错后无法恢复。

重启mysql服务  
修改了my.cnf文件之后，需要重启MySQL才能使修改生效。可以使用以下命令重启MySQL：

service mysqld restart

再次查看，可以发现此时have\_ssl值为DISABLED  
![在这里插入图片描述][e7d0dd0dd9294b77a140a4ab90a08f9b.png]

#### 3.1.2 执行初始化脚本 ####

执行如下数据库脚本：

CREATE DATABASE IF NOT EXISTS datasophon DEFAULT CHARACTER SET utf8;
    grant all privileges on *.* to datasophon@"%" identified by 'datasophon' with grant option;
    GRANT ALL PRIVILEGES ON *.* TO 'datasophon'@'%';
    FLUSH PRIVILEGES;

执行datasophon-manager安装目录sql目录下datasophon.sql，创建数据表。

source datasophon.sql

### 3.2 解压 ###

在安装目录下解压datasophon-manager-\{version\}.tar.gz，解压后可以看到如下安装目录：

tar -zxvf datasophon-manager-1.1.1.tar.gz

![在这里插入图片描述][99e0bad35e8b4ee398d0ada281a0a239.png]

bin：启动脚本git

conf ：配置文件

lib ：项目依赖的jar包

logs:项目日志存放目录

jmx：jmx插件

### 3.3 安装并配置nginx ###

注：1.1.1之前的版本需要执行该步操作，需要配置nginx。1.1.1及以后版本可以跳过该步骤

#### 3.3.1 安装依赖包 ####

yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel

#### 3.3.2 下载并解压 ####

#创建一个文件夹
    cd /usr/local
    mkdir nginx
    cd nginx
    #下载tar包
    wget http://nginx.org/download/nginx-1.13.7.tar.gz
    tar -xvf nginx-1.13.7.tar.gz

#### 3.3.3 安装nginx ####

#进入nginx目录
    cd /usr/local/nginx/nginx-1.13.7
    #执行命令 考虑到后续安装ssl证书 添加两个模块
    ./configure --with-http_stub_status_module --with-http_ssl_module
    #执行make命令
    make
    #执行make install命令
    make install

#### 3.3.4 启动nginx服务 ####

/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

看到如下页面说明nginx安装成功  
![在这里插入图片描述][079f7bf907fd4790b1722bb4776e4016.png]

#### 3.3.5配置nginx.conf ####

# 打开配置文件
    vim /usr/local/nginx/conf/nginx.conf

注意：这里需要获取前端配置包dist.zip并解压

新增配置

server {
        
                    listen 8888;# 访问端口(自行修改)
                    server_name localhost;
                    #charset koi8-r;
                    #access_log /var/log/nginx/host.access.log main;
                    location / {
        
                            root /usr/local/nginx/dist; # 前端解压的 dist 目录地址(自行修改)
                            index index.html index.html;
                    }
                    location /ddh {
        
                            proxy_pass http://doris-1:8081; # 接口地址(自行修改)
                            proxy_set_header Host $host;
                            proxy_set_header X-Real-IP $remote_addr;
                            proxy_set_header x_real_ipP $remote_addr;
                            proxy_set_header remote_addr $remote_addr;
                            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                            proxy_http_version 1.1;
                            proxy_connect_timeout 4s;
                            proxy_read_timeout 30s;
                            proxy_send_timeout 12s;
                            proxy_set_header Upgrade $http_upgrade;
                            proxy_set_header Connection "upgrade";
                    }
     
                    #error_page 404 /404.html;
                    # redirect server error pages to the static page /50x.html
                    #
                    error_page 500 502 503 504 /50x.html;
                    location = /50x.html {
        
                            root /usr/share/nginx/html;
                    }
            }

#### 3.3.6 重启nginx ####

/usr/local/nginx/sbin  -s reload

### 3.4 修改配置 ###

修改 conf 目录下的application.yml 配置文件中数据库链接配置：

spring:
      datasource:
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql:192.168.5.189:3306/datasophon?useUnicode=true&characterEncoding=utf-8
        username: root
        password: root
        driver-class-name: com.mysql.jdbc.Driver

![在这里插入图片描述][d93852d6b05f47978de5a0e875f1ddba.png]

### 3.4 启动服务 ###

#启动
    sh bin/datasophon-api.sh start api
    #停止
    sh bin/datasophon-api.sh stop api
    #重启
    sh bin/datasophon-api.sh restart api

部署成功后，可以进行日志查看，日志统一存放于logs文件夹内:

logs/

├── ddh-api.log

├── ddh-api-error.log

|—— api-\{hostname\}.out  
![在这里插入图片描述][3a66f4e49bc345d986313538d08dae8d.png]

### 3.5 访问页面 ###

访问前端页面地址,接口ip(自行修改) \[http://192.168.xx.xx:8081/ddh，默认用户名和密码为admin/admin123  
![在这里插入图片描述][2ae0813e5980403c84b2aa03d9c7957a.png]

## 4 创建集群 ##

登录进入系统页面后在集群管理页面创建集群，DataSophon支持多集群管理和授予用户集群管理员权限  
![在这里插入图片描述][8de7059d8db5418080785d06bdef538e.png]  
点击【创建集群】，输入集群名称，集群编码（集群唯一标识），集群框架。  
![在这里插入图片描述][6d42ede001494264a3bcfff0fa94ba7d.png]

创建成功后点击【配置集群】：  
根据提示，输入主机列表（注意：主机名需与在准备环境中hostnamectl set-hostname 设置的主机名一致），ssh用户名默认为root和ssh端口默认为22。  
![在这里插入图片描述][1a7342051d964ddb8c46bb10f5c613f2.png]

配置完成后，点击【下一步】，系统开始链接主机并进行主机环境校验。  
![在这里插入图片描述][3494e5ae650144628d4d948f4779d10a.png]

主机环境校验成功后点击【下一步】，主机agent分发步骤将自动分发datasophon-worker组件，并启动WorkerApplicationServer。  
![在这里插入图片描述][3e192c15986c4443aae46929987087bb.png]

主机管理Agent分发完成后，点击【下一步】，开始部署服务。  
初始化配置集群先选择部署AlertManager,Grafana和Prometheus三个组件。  
![在这里插入图片描述][db1b222750de49f0a0f70c5134d044bd.png]

点击【下一步】，分配AlertManager,Grafana和Prometheus服务的master服务角色部署节点，此三个组件需部署在同一台机器上。  
![在这里插入图片描述][4c4bee5545504fe386ff495ca424f8e0.png]

点击【下一步】，分配AlertManager,Grafana和Prometheus服务的worker与client服务角色部署节点，没有worker和client服务角色的可以跳过之间点击【下一步】。

![在这里插入图片描述][3678751f279a436e933de7ab30dede9d.png]

修改各服务配置。系统已给出默认配置，大部分情况下无需修改。  
![在这里插入图片描述][519bcd98b7de438188d7037722fe1fd1.png]

点击【下一步】开始服务安装，可实时查看服务安装进度。  
![在这里插入图片描述][cb26e3e05b054feb8ef53fbd0a431bcf.png]

点击【完成】，在集群管理页面点击【进入】，即可进入集群服务组件管理页面。

![在这里插入图片描述][9141f8c7be054e8a804cd093e3b4bf31.png]

## 5 添加服务 ##

### 5.1 安装ZK ###

选择添加服务，选择zk  
![在这里插入图片描述][d78808d4d1104c2ca2706c29021d6239.png]  
分配ZooKeeper master服务角色部署节点，zk需部3台或5台。  
![在这里插入图片描述][00c98ce5a9154d99b2de5dbbf48119f9.png]  
Zk没有worker与client服务角色，直接点击【下一步】跳过。

根据实际情况修改Zk服务配置。  
![在这里插入图片描述][b009113e616940b8a01c5bec421a7298.png]

点击【下一步】，进行zk服务安装  
![在这里插入图片描述][784be8b14c244e5c8eaccd7daa7ba545.png]  
安装成功后即可查看Zookeeper服务总览页面。  
![在这里插入图片描述][3c86786b07d44840acfea3a20791534b.png]

### 5.2 安装HDFS ###

部署HDFS，其中JournalNode需部署三台，NameNode部署两台，ZKFC和NameNode部署在相同机器上。如下图  
![在这里插入图片描述][bb6a456e91534a9ea38f119698a69f7d.png]  
点击【下一步】，选择DataNode部署节点。  
![在这里插入图片描述][34a9f15c3f1f412b8f1ad697b985b9f8.png]  
根据实际情况修改配置，例如修改DataNode数据存储目录。  
![在这里插入图片描述][f40aa54602d14112a581e9077ebc990a.png]  
点击【下一步】，开始安装Hdfs。  
![在这里插入图片描述][6764f469340542c5bc5cd41246cb7cbe.png]  
安装成功后，即可查看HDFS服务总览页面。  
![在这里插入图片描述][68ea84f589be4bc68ff0cad4ebcbcc34.png]

### 5.3 添加Yarn服务 ###

部署YARN，其中ResourceManager需部署两台作高可用。如下图：  
![在这里插入图片描述][c01321f4a94d457595eee5360a8cea68.png]  
点击【下一步】，选择NodeManager部署节点。  
![在这里插入图片描述][f0c9a1bd46804d55ab74474e3449fc60.png]

根据实际情况修改配置。  
![在这里插入图片描述][52bc87968fc9479d8ff68b9df4034787.png]  
等待安装完成  
![在这里插入图片描述][8b7e2475d3a24e6392473b4a37fc4262.png]  
安装成功后，即可查看YARN服务总览页面  
![在这里插入图片描述][90abfa5a846049db8725e2ea0250d53f.png]

### 5.4 添加hive服务 ###

#### 5.4.1 准备工作 ####

1）在数据库中创建Hive数据库。

CREATE DATABASE IF NOT EXISTS hive DEFAULT CHARACTER SET utf8;
    grant all privileges on *.* to hive@"%" identified by 'hive' with grant option;
    GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
    FLUSH PRIVILEGES;

![在这里插入图片描述][e90485eecd1e48d7a0353b4d7bf6182a.png]

#### 5.4.2 安装hive ####

选择需要安装hiveserver2和metastore角色的节点  
![在这里插入图片描述][7853842283b94548860cc20be15860fc.png]  
选择需要安装hiveclient角色的节点  
![在这里插入图片描述][7afa884176d24d6e94334b8f406cc148.png]  
根据实际情况修改配置  
![在这里插入图片描述][30bd3a02219b4bf7b506e937140332db.png]  
等待安装完成，安装成功后即可查看YARN服务总览页面  
![在这里插入图片描述][ac829cd939b3424fa7bc3bb8fee3c37b.png]

### 5.5 安装dolphinscheduler服务 ###

#### 5.5.1 准备工作 ####

1）初始化DolphinScheduler数据库。

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
    GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'localhost' IDENTIFIED BY 'dolphinscheduler';
    flush privileges;

![在这里插入图片描述][4ea7e61dfe38499daef35f490c2a2257.png]  
2）执行/opt/datasophon/DDP/packages目录下dolphinscheduler\_mysql.sql创建dolphinscheduler数据库表

#### 5.5.2 安装dolphinscheduler ####

添加dolphinscheduler服务  
![在这里插入图片描述][9a13bad880e940b4af48f194f7926f91.png]  
分配api-server/alert-server/master-server/worker-server角色  
![在这里插入图片描述][e78b1e056deb43e0937d3a75e611810e.png]  
根据实际情况，修改DolphinScheduler配置。  
![在这里插入图片描述][43ec8247205746ddb8fb62b2fbef03cb.png]  
开始安装DolphinScheduler，安装成功后可以看到DolphinScheduler总览页面  
![在这里插入图片描述][c8ec5fe5f2d54eaa805f08d325e7c92e.png]  
可以通过WebUi打开DolphinScheduler页面.  
![在这里插入图片描述][ebff2b39dbb0443ea5c2e39fc57fe0ee.png]  
![在这里插入图片描述][ba099788a2814bfc90d669656931adf7.png]

### 5.6 添加trino ###

点击【添加服务】，选择Trino。  
![在这里插入图片描述][2d749e1ddd7947c0a46461f88be9fdc7.png]  
选择TrinoCoordinator。  
![在这里插入图片描述][47dd8e9c93c6418d89c05a867e13c2e2.png]  
选择TrinoWorker。注意：TrinoCoordinator和TrinoWorker不要部署在同一台机器上。  
![在这里插入图片描述][71cb1e04482d4bd3929cdb638730eea1.png]  
注意"Trino最大堆内存"，"每个查询在单个节点可使用最大内存"这两个配置，其中"每个查询在单个节点可使用最大内存"不可超过"Trino最大堆内存"的80%，“总共可使用最大内存"为"每个查询在单个节点可使用最大内存”\* TrinoWorker数.  
![在这里插入图片描述][3bc26f9ce511499a98a30cb47604e313.png]  
点击【下一步】，开始安装Trino。等待安装完成，可以看到Trino总览页面  
![在这里插入图片描述][3849c15c55f240b68920f629dc38cc12.png]  
选择trino的webui，可以访问trino的连接  
![在这里插入图片描述][32a15a1a664b4a3ba4723f337781871d.png]  
![在这里插入图片描述][808eb0d22d8545cda54c0256fa637942.png]

### 5.7 添加doris服务 ###

点击【添加服务】，选择Doris。  
![在这里插入图片描述][dbbe7e430fa34c86be70e57718b3ccdf.png]  
分配FE服务角色部署节点。  
![在这里插入图片描述][a3fa23c9f7294e2285dafb38ec2d5eaa.png]  
分配BE服务角色部署节点。  
![在这里插入图片描述][93ee4b69a9444beeae05567d20097539.png]  
根据需要修改Doris配置，其中FE优先网段和BE优先网段需要配置，如配置成172.31.86.0/24  
![在这里插入图片描述][2b7f437dd1914e9b99fd4f98a2ef8afd.png]  
点击【下一步】，开始安装Doris。  
![在这里插入图片描述][84eeaf1c5d314c3e97cfcdbc12c24c20.png]

### 5.8 安装kafka ###

![在这里插入图片描述][bd77591a244941e39d6a187beff3ae40.png]  
选择安装kafka服务broker角色的节点  
![在这里插入图片描述][05f79a82d5194327bfd316e5edaa8324.png]  
根据实际情况调整Kafka参数。  
![在这里插入图片描述][c7d85119699449a3acb1aa968211c3be.png]  
Kafka安装成功后，即可在Kakfa服务总览页查看Kafka详情。  
![在这里插入图片描述][51ba6945e31640b4b6fafb9127a9d5b4.png]

### 5.9 安装ranger ###

创建ranger数据库

CREATE DATABASE IF NOT EXISTS ranger DEFAULT CHARACTER SET utf8;
    grant all privileges on *.* to ranger@"%" identified by 'ranger' with grant option;
    GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%';
    FLUSH PRIVILEGES;

![在这里插入图片描述][133214dd65fa4848ac8572e2ba106f23.png]  
点击【添加服务】，选择Ranger。  
选择RangerAdmin部署节点。  
![在这里插入图片描述][73d46841bfd54e4e8b03c929532e689a.png]  
输入数据库root用户密码，数据库地址，Ranger数据用户密码等配置信息。  
![在这里插入图片描述][d09bceb5966e4739b034506cf0d761fe.png]

安装成功后，即可在Kakfa服务总览页查看Ranger详情。  
![在这里插入图片描述][a5d7c71f31e043e2a4bd71fe7c0137be.png]

### 5.10 安装StreamPark ###

初始化StreamPark数据库。

CREATE DATABASE streampark DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    GRANT ALL PRIVILEGES ON streampark.* TO 'streampark'@'%' IDENTIFIED BY 'streampark';
    GRANT ALL PRIVILEGES ON streampark.* TO 'streampark'@'localhost' IDENTIFIED BY 'streampark';
    flush privileges;

![在这里插入图片描述][e82dcbe16c334b9898536908631be900.png]  
执行/opt/datasophon/DDP/packages目录下streampark.sql创建streampark数据库表。

use streampark;
    source /opt/datasophon/DDP/packages/streampark.sql

分配streampark角色  
![在这里插入图片描述][0535ba99e3e04aef8798d5e4848f5d63.png]  
根据实际情况修改配置。  
![在这里插入图片描述][26d60412703d42d8bff330ab1d4891a2.png]  
安装成功后可查看StreamPark总览页面，可通过WebUi跳转到StreamPark用户页面。

还有其他组件，如spark/flink/hbase/elasticsearch等，这里就不再一一例举安装了，感兴趣的小伙伴可以自己上手试一试。

## 6 多集群部署 ##

DataSophon支持部署和管理集群，在管理页面点击创建新的集群，输入集群id等信息  
![在这里插入图片描述][5609323b6daa445a8179f398a6b0f28f.png]

部署其他集群的节点同样需要上述2.1-2.5的环境准备。

### 6.1 扫描节点和分发安装包 ###

输入需要安装集群的节点ip  
![在这里插入图片描述][fa3f291085df4d1e99d51aee290fa441.png]  
![在这里插入图片描述][593c86689e69438390d3da647c74630f.png]

分发worker安装包  
![在这里插入图片描述][c16932c2cc50415a82866aac63808ad1.png]

### 6.2 选择需要安装的服务 ###

![在这里插入图片描述][ad263aacb641413a99ca31c236b8a371.png]

### 6.3 分配角色 ###

![在这里插入图片描述][0ef5867c56134ed1971a2e366c32b749.png]  
![在这里插入图片描述][c28b82feef2444c68cdf5dd6255b093c.png]

### 6.4 确认服务配置参数 ###

![在这里插入图片描述][4b51cc90b3db49598e5b27d0f291abcb.png]

### 6.5 安装服务 ###

![在这里插入图片描述][dc35478d54c04f96afb0ad1d0fb73334.png]

### 6.6 进入集群2 ###

安装成功之后，进入集群2查看总览页面  
![在这里插入图片描述][37fd91a775244de2aae05e2000c303dd.png]

![在这里插入图片描述][e82d5c6651be48ef8e7f30f7a3c8663b.png]

### 6.7 集群2中添加服务 ###

在集群2中添加zk/kafka/doris服务  
zk页面总览  
![在这里插入图片描述][7c5e51c42f4f4252bb27e34c39c1e28a.png]  
kafka页面总览  
![在这里插入图片描述][0d860a3cca9141578adfb9e68277e9e2.png]  
doris页面总览  
![在这里插入图片描述][4d642638c71b435299a2000eb0701fcb.png]

### 6.8 集群间切换 ###

可以选择不同的集群id，查看对应不同集群的节点信息、组件安装信息、告警信息等  
![在这里插入图片描述][473557ff29a04243a2b94742a79a381e.png]  
不同集群安装的服务和节点均可不一致：

集群1主机管理  
![在这里插入图片描述][100509c0b9404fe3a9b6104dd3667802.png]  
集群2主机管理  
![在这里插入图片描述][ecb544b2f92f491084edd9662813408d.png]

[ac86e2b179e641b0812f6643134ab627.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/dc5f13fa119f494d87fbb4634ddbc2d0.png
[0310264886fd41f9bb6e218e8771648b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/49078cc6100d490eb3f68fc1a22ad1ac.png
[450aa6aa103745058cec17d2cdd7422e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7c9476794708485f83cac5e343941fb0.png
[e7d0dd0dd9294b77a140a4ab90a08f9b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/06f632cde1e64661b9efce7fb92bfee5.png
[99e0bad35e8b4ee398d0ada281a0a239.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5487d6f8ff2441b880eb8e075d909314.png
[079f7bf907fd4790b1722bb4776e4016.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f54eed4aff094eaf9f7515e0ddbcbd54.png
[d93852d6b05f47978de5a0e875f1ddba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3536c0c0268b4decab4a4b399f0d707a.png
[3a66f4e49bc345d986313538d08dae8d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8e63e438c1b04adc82dd50bea8af0271.png
[2ae0813e5980403c84b2aa03d9c7957a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d4c40bed5979455f9e4d7f088dbc8586.png
[8de7059d8db5418080785d06bdef538e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c91ee70a85dd4f9dbccb86a40d1b768f.png
[6d42ede001494264a3bcfff0fa94ba7d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ed406370eb404b35806d6f7d2692bf37.png
[1a7342051d964ddb8c46bb10f5c613f2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c2124eaaa07346f1a1136470a1ae4223.png
[3494e5ae650144628d4d948f4779d10a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/25940307145145c2aa17f1a7b47f9748.png
[3e192c15986c4443aae46929987087bb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4e73af52a28f48a6b55100708bbb39c9.png
[db1b222750de49f0a0f70c5134d044bd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cb2d41c9ea9e4c639d88c5fa9490a8d7.png
[4c4bee5545504fe386ff495ca424f8e0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/df6cf1cb53c34be086e85c7a1a74d82e.png
[3678751f279a436e933de7ab30dede9d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/dd6b0cb48b0f47fe839acece4de8c769.png
[519bcd98b7de438188d7037722fe1fd1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/12ae260e77494e2d85f38bdd0a069260.png
[cb26e3e05b054feb8ef53fbd0a431bcf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/49f497be63344a0e94d4b61621a519cd.png
[9141f8c7be054e8a804cd093e3b4bf31.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/256c68f9ed7c4767a1b5f08f21b82276.png
[d78808d4d1104c2ca2706c29021d6239.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1fd03d3ec00d4925af49e818c261787e.png
[00c98ce5a9154d99b2de5dbbf48119f9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/281d6bbba657428ba5bb7c13dd5a092c.png
[b009113e616940b8a01c5bec421a7298.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4459d6a383694ce0ba01b1e11616cb3c.png
[784be8b14c244e5c8eaccd7daa7ba545.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c17bd00c1a1943b5b2572e85ee56b3ab.png
[3c86786b07d44840acfea3a20791534b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/98dfc60a95dd4d35aa29173734515061.png
[bb6a456e91534a9ea38f119698a69f7d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a58d20472ecb4542a26188ebe0e0e5bf.png
[34a9f15c3f1f412b8f1ad697b985b9f8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/466c9bb08e37420ba6fbe17abb5b26a3.png
[f40aa54602d14112a581e9077ebc990a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4394a77ed5d0411fab00e93b65a6a7b3.png
[6764f469340542c5bc5cd41246cb7cbe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/543b3c09e4c946fd9966468c594f12a7.png
[68ea84f589be4bc68ff0cad4ebcbcc34.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a02b9359226349fda6bed2842a937ea6.png
[c01321f4a94d457595eee5360a8cea68.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b95e13e91f58459eb633f674ba1df03e.png
[f0c9a1bd46804d55ab74474e3449fc60.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e9f8a7df901e49dea63d42780d601027.png
[52bc87968fc9479d8ff68b9df4034787.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1e0ca3457e514882a3a92c1d52f82370.png
[8b7e2475d3a24e6392473b4a37fc4262.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b1eb39e47bde41ba9fc58f6f2afffe86.png
[90abfa5a846049db8725e2ea0250d53f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/936428f6d4314ed59ce9d52c796ffd06.png
[e90485eecd1e48d7a0353b4d7bf6182a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/dfddb5dddb144a60a72f276161339021.png
[7853842283b94548860cc20be15860fc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5d530537b9eb4986a8cccc620e49f3e2.png
[7afa884176d24d6e94334b8f406cc148.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c824106e8d214e94b280257c0c89b86d.png
[30bd3a02219b4bf7b506e937140332db.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1374ed00f6e8461996b5f4ceaae2dbe2.png
[ac829cd939b3424fa7bc3bb8fee3c37b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/db9d0d50575a44fa953bd78c34c0c841.png
[4ea7e61dfe38499daef35f490c2a2257.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9962eeb403a441f8bae0b4e2132e3737.png
[9a13bad880e940b4af48f194f7926f91.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f44e7adb866d4109acce61d25288bd1e.png
[e78b1e056deb43e0937d3a75e611810e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a09468ef05c64a6f902940b01e2e68c9.png
[43ec8247205746ddb8fb62b2fbef03cb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/45f1ae938a8f437583c6c38218b9816b.png
[c8ec5fe5f2d54eaa805f08d325e7c92e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4d30ddf9f4c44b61a57a70c814cdef24.png
[ebff2b39dbb0443ea5c2e39fc57fe0ee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e66088101e30454cb598524d17279105.png
[ba099788a2814bfc90d669656931adf7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b98f68cd5b9c4bd79b3338432cf232e0.png
[2d749e1ddd7947c0a46461f88be9fdc7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b600c47a8e4e4475a7f292635f557fc7.png
[47dd8e9c93c6418d89c05a867e13c2e2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/926e011199714a989b27af759f2c66a6.png
[71cb1e04482d4bd3929cdb638730eea1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/044b0de711d84ee98e53131528b99ed6.png
[3bc26f9ce511499a98a30cb47604e313.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e6eb30369091466b9d22046d94d7c09b.png
[3849c15c55f240b68920f629dc38cc12.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3508707d68f14ba39f99cbb7e50835f7.png
[32a15a1a664b4a3ba4723f337781871d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f72d18c411064a36a29b74c30d776713.png
[808eb0d22d8545cda54c0256fa637942.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e596163c0c044beb972fa7adc9b968b9.png
[dbbe7e430fa34c86be70e57718b3ccdf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f63a11a549124b42b28b444d56f7b05a.png
[a3fa23c9f7294e2285dafb38ec2d5eaa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/020a4f0bf05b452f92f590205aafd346.png
[93ee4b69a9444beeae05567d20097539.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8b513eb1496c4402b700e6b730235e69.png
[2b7f437dd1914e9b99fd4f98a2ef8afd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/01807d05b1d34e13876dfc11bb488baa.png
[84eeaf1c5d314c3e97cfcdbc12c24c20.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7b901a52650049dbb888c36172481622.png
[bd77591a244941e39d6a187beff3ae40.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a119e93be2804542b4291f23fc580cfa.png
[05f79a82d5194327bfd316e5edaa8324.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4d54dfac3e154674b362667e3e81c6dc.png
[c7d85119699449a3acb1aa968211c3be.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e3f05e366b61414c90991aac78b096f7.png
[51ba6945e31640b4b6fafb9127a9d5b4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7e564e6ba60b428d992836d0526d6806.png
[133214dd65fa4848ac8572e2ba106f23.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ce6d6d4843dc4e5e8886935cfc9c75e0.png
[73d46841bfd54e4e8b03c929532e689a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/973dac451292462a91cb11e5a0335d15.png
[d09bceb5966e4739b034506cf0d761fe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b6f26cfd4b3b47e49b3d4afa6442a191.png
[a5d7c71f31e043e2a4bd71fe7c0137be.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7a0fc18168a04d50a42b3d7b846631e7.png
[e82dcbe16c334b9898536908631be900.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1aabd1ca1f2c42b7a631083827ff979b.png
[0535ba99e3e04aef8798d5e4848f5d63.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0b5ca5923c454343b2821991a41fbc83.png
[26d60412703d42d8bff330ab1d4891a2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/da225a4e5c0941d8872d94d28617a4f8.png
[5609323b6daa445a8179f398a6b0f28f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9bdc65d500384658b7fa8af74cbd1417.png
[fa3f291085df4d1e99d51aee290fa441.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a4aa05fc3f114df2b80a7cc9f84e3426.png
[593c86689e69438390d3da647c74630f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/582b1764af5544d98416e9d3e6db9690.png
[c16932c2cc50415a82866aac63808ad1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/508a118666aa4d4e975818cbe983aa6c.png
[ad263aacb641413a99ca31c236b8a371.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f17dbdbf197643d7ac801b23bb5cf2e7.png
[0ef5867c56134ed1971a2e366c32b749.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/22562e1653fc4e6f8b06f9f88bbc6423.png
[c28b82feef2444c68cdf5dd6255b093c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7c719d3848424f6886037a0bd10a8edd.png
[4b51cc90b3db49598e5b27d0f291abcb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/15ab17da89e141d188e0c8c191588d61.png
[dc35478d54c04f96afb0ad1d0fb73334.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c11396209d7b4ab0a3672dfe28358390.png
[37fd91a775244de2aae05e2000c303dd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/02214a64d6c2472f9aa17aacff16f684.png
[e82d5c6651be48ef8e7f30f7a3c8663b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/fa388031bfd94d5e83478d618159cd78.png
[7c5e51c42f4f4252bb27e34c39c1e28a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6d2e960ed8db4a28bdf495a9b92c948c.png
[0d860a3cca9141578adfb9e68277e9e2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6b414179e75846e2a56d3515a1dd60ea.png
[4d642638c71b435299a2000eb0701fcb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e7d896ef379a493e96c3c39fac1f22fb.png
[473557ff29a04243a2b94742a79a381e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6930084e5ca94b6ba77cd33670d44b33.png
[100509c0b9404fe3a9b6104dd3667802.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7369038ba4d14b52a09323db2cebcdf1.png
[ecb544b2f92f491084edd9662813408d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9d82175ae30e4698a3ea378acf218b11.png