【ElasticSearch】（九）—— 集群问题

﹏ヽ暗。殇╰゛Y 2023-09-30 14:19 11阅读 0赞

![ded4a48a042c4dd4935ab17abfdd4b02.jpeg][]

**目录**

一、集群脑裂问题

1.集群职责划分

2.脑裂问题

3.小结

二、集群分布式存储

1.分片存储测试

2.分片存储原理

三、集群分布式查询

四、集群故障转移

--------------------

## 一、集群脑裂问题 ##

### 1.集群职责划分 ###

elasticsearch中集群节点有不同的职责划分：

![aa1c913529ee4e349dc610c96de34743.png][]

默认情况下，集群中的任何一个节点都同时具备上述四种角色。

> 但是真实的集群一定要将集群职责分离：
> 
>  *  master节点：对CPU要求高，但是内存要求第
>  *  data节点：对CPU和内存要求都高
>  *  coordinating节点：对网络带宽、CPU要求高

职责分离可以让我们根据不同节点的需求分配不同的硬件去部署。而且避免业务之间的互相干扰。

一个典型的es集群职责划分如图：

![ff207c90fb224526b4c513796e1c284b.png][]

### 2.脑裂问题 ###

脑裂是因为集群中的节点失联导致的。

例如一个集群中，主节点与其它节点失联：

![25510bdd114e481fa84ee083ca55993d.png][]

此时，node2和node3认为node1宕机，就会重新选主：

![494a9e6e22664e809afedc48a9d86cfa.png][]

当node3当选后，集群继续对外提供服务，node2和node3自成集群，node1自成集群，两个集群数据不同步，出现数据差异。

当网络恢复后，因为集群中有两个master节点，集群状态的不一致，出现脑裂的情况：

![a27d8ebb5e8c4887b78c43283ae19900.png][]

解决脑裂的方案是，要求选票超过 ( eligible节点数量 + 1 ）/ 2 才能当选为主，因此eligible节点数量最好是奇数。对应配置项是discovery.zen.minimum\_master\_nodes，在es7.0以后，已经成为默认配置，因此一般不会发生脑裂问题

例如：3个节点形成的集群，选票必须超过 （3 + 1） / 2 ，也就是2票。node3得到node2和node3的选票，当选为主。node1只有自己1票，没有当选。集群中依然只有1个主节点，没有出现脑裂。

### 3.小结 ###

> master eligible节点的作用是什么？
> 
>  *  参与集群选主
>  *  主节点可以管理集群状态、管理分片信息、处理创建和删除索引库的请求
> 
> data节点的作用是什么？
> 
>  *  数据的CRUD
> 
> coordinator节点的作用是什么？
> 
>  *  路由请求到其它节点
>  *  合并查询到的结果，返回给用户

## 二、集群分布式存储 ##

当新增文档时，应该保存到不同分片，保证数据均衡，那么coordinating node如何确定数据该存储到哪个分片呢？

### 1.分片存储测试 ###

### 2.分片存储原理 ###

elasticsearch会通过hash算法来计算文档应该存储到哪个分片：

![41dd6ad8e1594dd092ff1c1a5efc007e.png][]

说明：

*  \_routing默认是文档的id
 *  算法与分片数量有关，因此索引库一旦创建，分片数量不能修改！

新增文档的流程如下：

![82bd90e254f04cc88161210756084b7a.png][]

> 解读：
> 
>  *  1）新增一个id=1的文档
>  *  2）对id做hash运算，假如得到的是2，则应该存储到shard-2
>  *  3）shard-2的主分片在node3节点，将数据路由到node3
>  *  4）保存文档
>  *  5）同步给shard-2的副本replica-2，在node2节点
>  *  6）返回结果给coordinating-node节点

## 三、集群分布式查询 ##

elasticsearch的查询分成两个阶段：

*  scatter phase：分散阶段，coordinating node会把请求分发到每一个分片
 *  gather phase：聚集阶段，coordinating node汇总data node的搜索结果，并处理为最终结果集返回给用户

![8b94ffb2c6e04d10b25d5268c7892114.png][]

## 四、集群故障转移 ##

集群的master节点会监控集群中的节点状态，如果发现有节点宕机，会立即将宕机节点的分片数据迁移到其它节点，确保数据安全，这个叫做故障转移。

1）例如一个集群结构如图：

![972dbe5c65fc4109897e20daf299cef1.png][]

现在，node1是主节点，其它两个节点是从节点。

2）突然，node1发生了故障：

![0d93c28cd32844209c33815b9250f95c.png][]

宕机后的第一件事，需要重新选主，例如选中了node2：

![c6aad82f020b4bd1a03d9b1b71bfcce9.png][]

node2成为主节点后，会检测集群监控状态，发现：shard-1、shard-0没有副本节点。因此需要将node1上的数据迁移到node2、node3：

![db0a9ba3b2fe45659222fd134dade3e1.png][]

## ![5ac86748e4874dcfb7763bcf190aee1f.png][] ##

[ded4a48a042c4dd4935ab17abfdd4b02.jpeg]: https://img-blog.csdnimg.cn/ded4a48a042c4dd4935ab17abfdd4b02.jpeg
[aa1c913529ee4e349dc610c96de34743.png]: https://img-blog.csdnimg.cn/aa1c913529ee4e349dc610c96de34743.png
[ff207c90fb224526b4c513796e1c284b.png]: https://img-blog.csdnimg.cn/ff207c90fb224526b4c513796e1c284b.png
[25510bdd114e481fa84ee083ca55993d.png]: https://img-blog.csdnimg.cn/25510bdd114e481fa84ee083ca55993d.png
[494a9e6e22664e809afedc48a9d86cfa.png]: https://img-blog.csdnimg.cn/494a9e6e22664e809afedc48a9d86cfa.png
[a27d8ebb5e8c4887b78c43283ae19900.png]: https://img-blog.csdnimg.cn/a27d8ebb5e8c4887b78c43283ae19900.png
[41dd6ad8e1594dd092ff1c1a5efc007e.png]: https://img-blog.csdnimg.cn/41dd6ad8e1594dd092ff1c1a5efc007e.png
[82bd90e254f04cc88161210756084b7a.png]: https://img-blog.csdnimg.cn/82bd90e254f04cc88161210756084b7a.png
[8b94ffb2c6e04d10b25d5268c7892114.png]: https://img-blog.csdnimg.cn/8b94ffb2c6e04d10b25d5268c7892114.png
[972dbe5c65fc4109897e20daf299cef1.png]: https://img-blog.csdnimg.cn/972dbe5c65fc4109897e20daf299cef1.png
[0d93c28cd32844209c33815b9250f95c.png]: https://img-blog.csdnimg.cn/0d93c28cd32844209c33815b9250f95c.png
[c6aad82f020b4bd1a03d9b1b71bfcce9.png]: https://img-blog.csdnimg.cn/c6aad82f020b4bd1a03d9b1b71bfcce9.png
[db0a9ba3b2fe45659222fd134dade3e1.png]: https://img-blog.csdnimg.cn/db0a9ba3b2fe45659222fd134dade3e1.png
[5ac86748e4874dcfb7763bcf190aee1f.png]: https://img-blog.csdnimg.cn/5ac86748e4874dcfb7763bcf190aee1f.png