Exasol 基于docker搭建并运行

小鱼儿 2023-01-10 03:44 151阅读 0赞

# 简介 #

EXASOL 这是一种用于分析数据的大规模并行处理(MPP)内存数据库。

# maven配置 #

[https://mvnrepository.com/artifact/com.exasol/exasol-jdbc/7.0.4][https_mvnrepository.com_artifact_com.exasol_exasol-jdbc_7.0.4]

![在这里插入图片描述][20210122174515952.png]  
pom 配置语法如下

<dependency>
        <groupId>com.exasol</groupId>
        <artifactId>exasol-jdbc</artifactId>
        <version>7.0.4</version>
    </dependency>

有时候 pom 无法自动下载，需要我们手动下载，然后放在是相应的位置。在 Linux 系统中，maven 的 repository 位置为：`~/.m2/repository/com/exasol/exasol-jdbc/7.0.4/`

[https://maven.exasol.com/artifactory/exasol-releases/com/exasol/exasol-jdbc/7.0.4/][https_maven.exasol.com_artifactory_exasol-releases_com_exasol_exasol-jdbc_7.0.4]

*  https://maven.exasol.com/artifactory/exasol-releases/com/exasol/exasol-jdbc/7.0.4/exasol-jdbc-7.0.4.jar
 *  https://maven.exasol.com/artifactory/exasol-releases/com/exasol/exasol-jdbc/7.0.4/exasol-jdbc-7.0.4.pom

![在这里插入图片描述][20210122174941374.png]![在这里插入图片描述][20210201102040939.png]

# docker 搭建exasol #

## 查找镜像 ##

在dockerHub中可以搜索到该镜像，此外通过 `docker search exasol` 也可以搜索到该镜像。接着使用 `docker pull exasol/docker-db` 命令拉取镜像

[https://registry.hub.docker.com/r/exasol/docker-db][https_registry.hub.docker.com_r_exasol_docker-db]  
![在这里插入图片描述][20210122175340519.png]![在这里插入图片描述][20210207175854505.png]

## 创建容器 ##

github里可以找到一份开源的使用docker构造exasol的文件  
[https://github.com/exasol/docker-db][https_github.com_exasol_docker-db]  
![在这里插入图片描述][20210122182552900.png]

启动命令如下

*  `-d --detach` 表示容器在后台运行，如果是 `-it` 则会占用当前命令行执行
 *  `--name` 设置容器的名字
 *  `-p <主机端口>:<容器端口>` 将主机端口映射到容器中
 *  `--privileged` 让容器内的 root 拥有真正的root权限。否则容器内的 root 就只是外部的一个普通用户权限
 *  `--memory` 设置容器使用的最大内存上限。默认单位为byte，可以使用K、G、M等带单位的字符串
 *  `-- memory-reservation` 启用弹性的内存共享，当宿主机资源充足时，允许容器尽量多地使用内存，当检测到内存竞争或者低内存时，强制将容器的内存降低到memory-reservation所指定的内存大小。按照官方说法，不设置此选项时，有可能出现某些容器长时间占用大量内存，导致性能上的损失
 *  `--memory-swap` 等于内存和swap分区大小的总和，设置为-1时，表示swap分区的大小是无限的。默认单位为byte，可以使用K、G、M等带单位的字符串。如果–memory-swap的设置值小于–memory的值，则使用默认值，为–memory-swap值的两倍

sudo docker run -d --name exasoldb -p 8563:8563 --detach --privileged \
    --memory=25g --memory-swap=25g --memory-reservation=25g \
    exasol/docker-db

[https://github.com/exasol/docker-db/issues/5][https_github.com_exasol_docker-db_issues_5]  
![在这里插入图片描述][2021012217511831.png]

## exasol的默认帐号密码 ##

容器中的 `exaplus` 为 `exasol` 的命令行程序，位置在 `/usr/opt/EXASuite-7/EXASolution-7.0.6/bin/Console/` 目录下。exasol 的默认帐号密码为：`sys` 和 `exasol`

sudo docker exec -it exasoldb exaplus -c localhost:8563 -u sys -P exasol

或

sudo docker exec -it exasoldb bash
    ls -l /usr/opt/EXASuite-7/EXASolution-7.0.6/bin/Console/exaplus

![在这里插入图片描述][20210201102840735.png]

## 修改exasol允许占用的内存和磁盘的最大值 ##

exasol 的配置文件存储在 `/exa/etc/EXAConf` 文件中。最常见的是修改其限制的内存和磁盘大小，如下图  
![在这里插入图片描述][2021020109595043.png]  
![在这里插入图片描述][20210201101501743.png]

![在这里插入图片描述][20210201101539437.png]  
如果修改保存后就直接重启容器，会发现启动失败。使用 `docker logs exasoldb` 查看日志，显示 `ERROR::EXAConfig: Integrity check failed`

从 exasol 的 Github 中发现了这条 ISSUE，上面说是由于 EXAConf 中配置了该文件的 checksum，因此当配置被修改后校验错误，导致失败。

因此，每次修改 EXAConf 的配置，必须将 checksum 的值该为 COMMIT，该值指示设备在读取时自动该为正确的 checksum

![在这里插入图片描述][20210201134940685.png]![在这里插入图片描述][20210201134835441.png]之后重启容器 `sudo docker restart <容器名>`，让配置生效

## 常用命令 ##

### `csinfo` 查看磁盘类型及基本信息 ###

![在这里插入图片描述][20210207174208766.png]

![在这里插入图片描述][20210201111137602.png]

### `docker stats exasoldb` 查看容器CPU，内存，IO使用率 ###

![在这里插入图片描述][2021020718433597.png]

### `docker system df -v` 查看镜像和容器的磁盘使用率 ###

![在这里插入图片描述][20210207184443380.png]

## 插入1千万行数据查看磁盘内存占用量 ##

可以看到，用代码插入1千万条数据（20列），并进行基本的增删该查，聚合、统计、汇总等操作后，内存占用量增加到了8G，磁盘占用基本不变。  
![在这里插入图片描述][20210208101848901.png]

## 大表1千万条（20列）&小表1千条（7列）的增删改查，聚合汇总连接的效率![在这里插入图片描述][20210208112257213.png]![在这里插入图片描述][20210208112321317.png] ##

PERSON 建表语句

CREATE TABLE "dbtest".PERSON (
    		ID DECIMAL(36,0) NOT NULL,
    		UID VARCHAR(50) UTF8,
    		SEX DECIMAL(3,0),
    		MALE BOOLEAN,
    		NAME VARCHAR(10) UTF8,
    		AGE DECIMAL(9,0),
    		BIRTHDAY TIMESTAMP,
    		HEIGHT DOUBLE,
    		WEIGHT DECIMAL(9,0),
    		PHONE VARCHAR(20) UTF8,
    		WEBSITE VARCHAR(50) UTF8,
    		WAGES DOUBLE,
    		MONTH_SALES DOUBLE,
    		TURNOVER DOUBLE,
    		PROVINCE VARCHAR(30) UTF8,
    		SCHOOL VARCHAR(30) UTF8,
    		GRADE VARCHAR(20) UTF8,
    		HOBBY_COUNT DECIMAL(3,0),
    		HOBBIES VARCHAR(50) UTF8
    );
    ALTER TABLE "dbtest".PERSON ADD CONSTRAINT ID PRIMARY KEY ("ID") ENABLE;

SCORE 建表语句

CREATE TABLE "dbtest".SCORE (
    		ID DECIMAL(36,0) NOT NULL,
    		ENGLISHNAME VARCHAR(20) UTF8,
    		CHINESE DECIMAL(9,0),
    		MATH DECIMAL(9,0),
    		ENGLISH DECIMAL(9,0),
    		PERSONID DECIMAL(36,0),
    		CLASSID DECIMAL(3,0)
    );
    ALTER TABLE "dbtest".SCORE ADD CONSTRAINT ID PRIMARY KEY ("ID") ENABLE;

## JDBC连接方式 ##

从 dbeaver 这个软件中可以看到 exasol 的 JDBC 连接模式为 `jdbc:exa:{host}[:{port}][;schema={database}]` 默认端口为 8563  
![在这里插入图片描述][20210207215222738.png]

[https_mvnrepository.com_artifact_com.exasol_exasol-jdbc_7.0.4]: https://mvnrepository.com/artifact/com.exasol/exasol-jdbc/7.0.4
[20210122174515952.png]: /images/20221119/b3aa7fe3622b43beb644f97f860e3895.png
[https_maven.exasol.com_artifactory_exasol-releases_com_exasol_exasol-jdbc_7.0.4]: https://maven.exasol.com/artifactory/exasol-releases/com/exasol/exasol-jdbc/7.0.4/
[20210122174941374.png]: https://img-blog.csdnimg.cn/20210122174941374.png
[20210201102040939.png]: /images/20221119/d6197197f44346b4809396c3e883715b.png
[https_registry.hub.docker.com_r_exasol_docker-db]: https://registry.hub.docker.com/r/exasol/docker-db
[20210122175340519.png]: https://img-blog.csdnimg.cn/20210122175340519.png
[20210207175854505.png]: /images/20221119/824b83fb4359409c84e4bb44db879e50.png
[https_github.com_exasol_docker-db]: https://github.com/exasol/docker-db
[20210122182552900.png]: /images/20221119/c751800080f844848eefe4d8c666de25.png
[https_github.com_exasol_docker-db_issues_5]: https://github.com/exasol/docker-db/issues/5
[2021012217511831.png]: /images/20221119/de053e0a06ab4dffa61d3c7575d887f4.png
[20210201102840735.png]: /images/20221119/9182f1414186404bb64baa4db490c2f4.png
[2021020109595043.png]: /images/20221119/f7c56c7558fd42bf9febc921abefabf1.png
[20210201101501743.png]: /images/20221119/60d7b1ed6c294bd7a9c9863480c2ff4e.png
[20210201101539437.png]: /images/20221119/825530f4644d40f192189d33e66550ca.png
[20210201134940685.png]: https://img-blog.csdnimg.cn/20210201134940685.png
[20210201134835441.png]: /images/20221119/78f1290bbb7e4d73bfec35631a5444cf.png
[20210207174208766.png]: /images/20221119/301151b74fbc4571a86b80c03e5c6560.png
[20210201111137602.png]: /images/20221119/7625ccb8c1cc4853a8832e5915357f41.png
[2021020718433597.png]: /images/20221119/f3178d84f67f48bcb182b1691933922c.png
[20210207184443380.png]: /images/20221119/c49c5093f739412db4607e0611b51adc.png
[20210208101848901.png]: /images/20221119/bf2ba6462f3e40e98a0644fe6cdcc7b8.png
[20210208112257213.png]: https://img-blog.csdnimg.cn/20210208112257213.png
[20210208112321317.png]: /images/20221119/c00696a667f34d5a911c3b5e1e040906.png
[20210207215222738.png]: /images/20221119/c725c77e171144b494056bfbf98c52fb.png