【ClickHouse】什么是ClickHouse？CK入门

冷不防 2023-10-10 20:07 23阅读 0赞

#### 文章目录 ####

*  一、ClickHouse入门
 *   *  1、列式存储
     *  2、DBMS的功能
     *  3、多样化引擎
     *  4、高吞吐写入能力
     *  5、数据分区与线程级并行
     *  6、性能对比
     *  7、官网
 *  二、ClickHouse安装
 *   *  1、准备工作
     *  2、单机安装
 *  三、ClickHouse的数据类型
 *   *  1、整型
     *  2、浮点型
     *  3、布尔型
     *  4、Decimal型
     *  6、枚举类型
     *  7、时间类型
     *  8、数组

## 一、ClickHouse入门 ##

> ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的`列式存储数据库`（DBMS），使用 `C++`语言编写，主要用于`在线分析处理查询`（OLAP），能够使用 SQL 查询实时生成分析数据报告。

关键词：

*  列式存储
 *  查询
 *  C++

### 1、列式存储 ###

行式、列式指的是`数据在磁盘上的组织结构`。以下表为例：

![在这里插入图片描述][eccdc9a0941040868a9a93f6d6a9a9e7.png]

采用行式存储时，数据在磁盘上的组织结构是：

![在这里插入图片描述][dd77aefb0a3b4b52b4bc66edf635c721.png]  
这种存储形式，好处是当查某个人的所有属性时，可以通过磁盘查找加顺序读取就可以。

SELECT * FROM t_user where id = 1;

但当查找所有人的年龄时，就需要不停的查找，或者全表扫描，且遍历的很多数据都是不需要的。

SELECT age FROM t_user ;

采用列式存储时，数据在磁盘上的组织结构是：  
![在这里插入图片描述][b8591cd663314d589c175453871981e5.png]  
此时：

SELECT age FROM t_user ;

就很效率，把磁盘上的那一串连续数据读出来就行。但相反的，insert一条数据时，就得计算每个Value的存储地址。

> 两种存储方式，没有优劣，只有适用场景的问题。

列式存储的好处是：

➢ `对于列的聚合，计数，求和等统计操作原因优于行式存储`

➢ 由于某一列的数据类型都是相同的，针对于数据存储更容易进行数据压缩，每一列选择更优的数据压缩算法，大大提高了数据的压缩比重。

➢ 由于数据压缩比更好，一方面节省了磁盘空间，另一方面对于 cache 也有了更大的  
发挥空间。

### 2、DBMS的功能 ###

几乎覆盖了标准 SQL 的大部分语法，包括 DDL 和 DML，以及配套的各种函数，用户管理及权限管理，数据的备份与恢复。

### 3、多样化引擎 ###

ClickHouse 和 MySQL 类似，把`表级的存储引擎`插件化，根据表的不同需求可以设定不同的存储引擎。目前包括合并树、日志、接口和其他四大类 20 多种引擎。

### 4、高吞吐写入能力 ###

ClickHouse 采用类 `LSM Tree`的结构，数据写入后定期在后台 Compaction。

通过类 LSM tree 的结构，ClickHouse 在数据导入时全部是顺序 append 写，写入后数据段不可更改，在后台compaction 时也是多个段 merge sort 后顺序写回磁盘。
    
    顺序写的特性，充分利用了磁盘的吞吐能力，即便在 HDD 上也有着优异的写入性能。

官方公开 benchmark 测试显示能够达到 50MB-200MB/s 的写入吞吐能力，按照每行100Byte 估算，大约相当于 50W-200W 条/s 的写入速度。

### 5、数据分区与线程级并行 ###

ClickHouse 将数据划分为多个 partition，每个 partition 再进一步划分为多个 index granularity(索引粒度)，然后通过多个 CPU核心分别处理其中的一部分来实现并行数据处理。

在这种设计下，`单条 Query 就能利用整机所有CPU`（很吃CPU）。极致的并行处理能力，极大的降低了查询延时。

所以，ClickHouse 即使对于大量数据的查询也能够化整为零平行处理。但是有一个弊端就是对于单条查询使用多 cpu，就不利于同时并发多条查询。所以对于高 qps（query per second） 的查询业务，ClickHouse 并不是强项。

> 从这儿可以看出ClickHouse不适合做初始的存储，其适用场景是`数据已经处理好的、字段特别多的宽表`

### 6、性能对比 ###

*  单表查询实验数据

![在这里插入图片描述][067d96ada65a4d0180d57b2d0eb2f173.png]

*  关联查询实验数据

![在这里插入图片描述][b8d90f05553849f29685823e6592d6c4.png]

> ClickHouse 像很多 OLAP 数据库一样，单表查询速度优于关联查询，且ClickHouse的两者差距更为明显。因此，在ClickHouse中尽量避免join（适用场景：宽表）。

### 7、官网 ###

[https://clickhouse.com/][https_clickhouse.com]

![在这里插入图片描述][1adcc500be6e424d8f8611f189bef345.png]  
这里有文档和一个在线Demo

## 二、ClickHouse安装 ##

### 1、准备工作 ###

*  暂时关闭防火墙

systemctl status firewalld
    systemctl stop firewalld

*  CentOS取消打开文件数限制

# 查看Linux系统的一些限制
    [root@9527 ~] ulimit -a
    ...
    open files   (-n) 1024  # 文件数
    max user processes  (-u)127882  # 最大用户进程数（ClickHouse比较吃CPU）
    ...
    # 打开的文件最大数和某个用户最大的进程数和clickHouse相关
    # 和ES调这个参数原因相同

sudo vim /etc/security/limits.conf
    # 在末尾加入
    * soft nofile 65536
    * hard nofile 65536
    * soft nproc 131072
    * hard nproc 131072
    
    # *即所有用户的所有组，也可对单独某个用户,则*改为user@groupname
    # soft即软限制，就是当前的日常状态
    # hard即硬限制，就是最大、上限，soft <= hard
    # 也可之间用一个横线 - ，代表软硬一起配置了
    # nofile即打开文件数，nproc即用户进程数

# 还要改下limits.d目录下文件的内容，因为它会覆盖上面limits.conf的配置
    vim /etc/security/limits.d/20-nproc.conf
    # 末尾加
    * soft nofile 65536
    * hard nofile 65536
    * soft nproc 131072
    * hard nproc 131072

# 以上配置生效不用重启。退出当前用户后重新登录即可
    ulimit -a # 查看更改是否生效

*  安装相关依赖

sudo yum install -y libtool
    sudo yum install -y *unixODBC*

*  在CentOS取消SELINUX

# S即安全E即增强
    # SELINUX是Linux内核级别的一个系统安全防护，关掉是因为它管的太多了
    
    sudo vim /etc/selinux/config
    #改为disabled
    SELINUX=disabled
    # 这个是内核级别的，想生效得重启Linux
    # 实在不想重启可以执行下面指令来临时生效
    [root@9527 ~]getenforce
    Disabled
    [root@9527 ~]setenforce 0  # 0、1即开关

最后，如果是集群的话，别忘了将上面的操作在其他机器上同步一份。

### 2、单机安装 ###

![在这里插入图片描述][70ae31d36a514fb5a21c53ed5073a97c.png]  
支持yum安装。再往下翻，选择下载离线安装包：click [here][]

![在这里插入图片描述][d2a0980fe1c54389b9f652512f3bacb9.png]

下载地址：[https://packages.clickhouse.com/rpm/stable/][here]

![在这里插入图片描述][6d39fee1d97d418795ba897aaff181d4.png]

*  创建clickhouse目录

mkdir clickhouse

*  将四个rpm包拖到这个目录下

![在这里插入图片描述][30353afd14e6427bb0ddfb9db4d9d899.png]

*  在clickhouse目录直接安装`*.rpm`

sudo rpm -ivh *.rpm
    # 中途会提示：
    Enter password for default user:
    # 即给clickhouse的默认用户default设置密码，回车默认密码为空即可

*  查看安装情况

rpm -qa|grep -i clickhouse
    # 使用rpm包安装或者yum安装，和tar解压tar.gz包的安装不一样，后者可以直接在解压目录下看到conf等目录
    # 而rpm包安装后，配置文件对应路径在/etc/clickhouse按Tab
    # 而lib目录常在/var/lib/clickhouse按Tab
    # 而bin目录则在usr/bin/按Tab或者usr/local/bin/按Tab
    # 而log目录则在/var/log/按Tab

![在这里插入图片描述][fe6bac9b633246518cbd13510fb36fc6.png]

*  修改配置文件

ls /etc/clickhouse-server
    # 该目录下config.xml主要为服务端配置
    # 如数据文件路径：<path>/var/lib/clickhouse/</path>
    # 还有日志文件路径：<log>/var/log/clickhouse-server/clickhouse-server.log</log>
    
    # users.xml则主要为一些参数设置，如CPU给多少、最大内存的使用量

vim /etc/clickhouse-server/config.xml
    # 把 <listen_host>::</listen_host> 的注释打开
    # 这样的话才能让 ClickHouse 被除本机以外的服务器访问

*  重新启动服务

systemctl restart clickhouse-server
    # 或者直接
    clickhouse status # 查看状态启动
    clickhouse start # 启动

*  关闭开机自启（可选，enable或者disable看你的需求）

systemctl disable clickhouse-server

*  使用client连接server

[root@9527 clickhouse]clickhouse-client -m
    # -m即回车可以换行，而不是代表开始执行语句
    # 此时语句的结束是封号
    
    # 连接其他主机
    [root@9527 clickhouse]clickhouse-clinet -h 主机名 -P端口 -u -p
    
    # 还可以后面跟一个查询语句,不进去直接查结果
    [root@9527 clickhouse]clickhouse-client --query ""

## 三、ClickHouse的数据类型 ##

### 1、整型 ###

固定长度的整型，包括有符号整型或无符号整型。

整型范围（-2^n-1~2^n-1 -1）：
    Int8 - [-128 : 127]  #  8位，对应Java中的byte
    Int16 - [-32768 : 32767]  # 16位，对应Java中的short
    Int32 - [-2147483648 : 2147483647]
    Int64 - [-9223372036854775808 : 9223372036854775807]

无符号整型范围（0~2^n-1）：
    UInt8 - [0 : 255]
    UInt16 - [0 : 65535]
    UInt32 - [0 : 4294967295]
    UInt64 - [0 : 18446744073709551615]

使用场景： 个数、数量、也可以存储型 id。

### 2、浮点型 ###

Float32 - float # 32位，4字节
    Float64 – doubl

使用场景：一般数据值比较小，不涉及大量的统计计算，精度要求不高的时候

![在这里插入图片描述][04c505c713d141c2b78b24195882d1f2.png]

### 3、布尔型 ###

没有单独的类型来存储布尔值。可以使用 `UInt8` 类型，并将取值限制为 0 或 1。

# 无符号INT
    UInt8 - [0 : 255]

### 4、Decimal型 ###

有符号的浮点数，可在加、减和乘法运算过程中保持精度。有三种声明：

➢ Decimal32(s)，相当于 Decimal(9-s,s)，有效位数为 1~9
    ➢ Decimal64(s)，相当于 Decimal(18-s,s)，有效位数为 1~18
    ➢ Decimal128(s)，相当于 Decimal(38-s,s)，有效位数为 1~38
    
    # s即小数位数

举例：
    Decimal32(5)，即整数+小数一共9位，小数部分5位

使用场景： 一般金额字段、汇率、利率等字段为了保证小数点精度，都使用 Decimal  
进行存储。

### 6、枚举类型 ###

包括 Enum8 和 Enum16 类型。Enum `保存 'string'= integer 的对应关系。`

Enum8 用 'String'= Int8 对描述。
    Enum16 用 'String'= Int16 对描述。

创建一个表，其中x列是枚举类型

# 列名x
    # 类型 Enum8('hello' = 1, 'world' = 2)
    CREATE TABLE t_enum
    (
     x Enum8('hello' = 1, 'world' = 2)
    )
    ENGINE = TinyLog;

这个枚举类型保存了两个String和和Int的对应关系。这个 x 列只能存储类型定义中列出的值：‘hello’或’world’

INSERT INTO t_enum 
    VALUES ('hello'), ('world'), ('1');

![在这里插入图片描述][2df1ce1a9ef24794a7ff732526755665.png]  
存入其他的值，则报错。

INSERT INTO t_enum
    VALUES ('a');

![在这里插入图片描述][e2ecfb03d4054f7690aa824f72b93a51.png]  
想看到String对应的INT，需做转换：

SELECT CAST(x ,'INT8') FROM t_enum;

![在这里插入图片描述][e9ac6ec1b33c4bc392ddfcbf017767ee.png]  
使用场景：对一些状态、类型的字段算是一种`空间优化`，也`算是一种数据约束`。但是实际使用中往往因为一些数据内容的变化增加一定的维护成本，甚至是数据丢失问题。

### 7、时间类型 ###

目前 ClickHouse 有三种时间类型

➢ `Date` 接受年-月-日的字符串比如 ‘2019-12-16’

➢ `Datetime` 接受年-月-日 时:分:秒的字符串比如 ‘2019-12-16 20:50:10’

➢ `Datetime64` 接受年-月-日 时:分:秒.亚秒的字符串比如‘2019-12-16 20:50:10.66’

### 8、数组 ###

`Array(T)：由 T 类型元素组成的数组`。T 可以是任意类型，也可以套一个数组类型。 但不推荐使用多维数组，ClickHouse 对多维数组的支持有限。

*  创建数组的方式1：使用array函数

# toTypeName(x) 函数，获取当前字段的类型
    # array(1, 2) AS x即1、2两个数字放这个数组里，起名x
    SELECT array(1, 2) AS x, toTypeName(x) ;

![在这里插入图片描述][ff6384f308834914a7e07d898246d394.png]

SELECT array(1,2,'hahhahaha' AS x,toTypeName(x);
    # 这种数组里类型不统一的，就会报错
    DB::Exception:There is no supertype for types UInt8，String....

*  创建数组的方式2：使用方括号

SELECT [1, 2] AS x, toTypeName(x);

![在这里插入图片描述][ffb18ff825b244e6b601bbda8dc6ff46.png]

[eccdc9a0941040868a9a93f6d6a9a9e7.png]: https://img-blog.csdnimg.cn/eccdc9a0941040868a9a93f6d6a9a9e7.png
[dd77aefb0a3b4b52b4bc66edf635c721.png]: https://img-blog.csdnimg.cn/dd77aefb0a3b4b52b4bc66edf635c721.png
[b8591cd663314d589c175453871981e5.png]: https://img-blog.csdnimg.cn/b8591cd663314d589c175453871981e5.png
[067d96ada65a4d0180d57b2d0eb2f173.png]: https://img-blog.csdnimg.cn/067d96ada65a4d0180d57b2d0eb2f173.png
[b8d90f05553849f29685823e6592d6c4.png]: https://img-blog.csdnimg.cn/b8d90f05553849f29685823e6592d6c4.png
[https_clickhouse.com]: https://clickhouse.com/
[1adcc500be6e424d8f8611f189bef345.png]: https://img-blog.csdnimg.cn/1adcc500be6e424d8f8611f189bef345.png
[70ae31d36a514fb5a21c53ed5073a97c.png]: https://img-blog.csdnimg.cn/70ae31d36a514fb5a21c53ed5073a97c.png
[here]: https://packages.clickhouse.com/rpm/stable/
[d2a0980fe1c54389b9f652512f3bacb9.png]: https://img-blog.csdnimg.cn/d2a0980fe1c54389b9f652512f3bacb9.png
[6d39fee1d97d418795ba897aaff181d4.png]: https://img-blog.csdnimg.cn/6d39fee1d97d418795ba897aaff181d4.png
[30353afd14e6427bb0ddfb9db4d9d899.png]: https://img-blog.csdnimg.cn/30353afd14e6427bb0ddfb9db4d9d899.png
[fe6bac9b633246518cbd13510fb36fc6.png]: https://img-blog.csdnimg.cn/fe6bac9b633246518cbd13510fb36fc6.png
[04c505c713d141c2b78b24195882d1f2.png]: https://img-blog.csdnimg.cn/04c505c713d141c2b78b24195882d1f2.png
[2df1ce1a9ef24794a7ff732526755665.png]: https://img-blog.csdnimg.cn/2df1ce1a9ef24794a7ff732526755665.png
[e2ecfb03d4054f7690aa824f72b93a51.png]: https://img-blog.csdnimg.cn/e2ecfb03d4054f7690aa824f72b93a51.png
[e9ac6ec1b33c4bc392ddfcbf017767ee.png]: https://img-blog.csdnimg.cn/e9ac6ec1b33c4bc392ddfcbf017767ee.png
[ff6384f308834914a7e07d898246d394.png]: https://img-blog.csdnimg.cn/ff6384f308834914a7e07d898246d394.png
[ffb18ff825b244e6b601bbda8dc6ff46.png]: https://img-blog.csdnimg.cn/ffb18ff825b244e6b601bbda8dc6ff46.png