Elasitcsearch写操作与读操作底层原理

- 日理万妓 2023-02-13 05:44 1阅读 0赞

### 1. 写操作（Write）：针对文档的CRUD操作 ###

#### 1.1 索引新文档（Create） ####

当用户向一个节点提交了一个索引新文档的请求，节点会计算新文档应该加入到哪个分片（`shard`）中。每个节点都存储有每个分片存储在哪个节点的信息，因此协调节点会将请求发送给对应的节点。注意这个请求会发送给主分片，等主分片完成索引，会并行将请求发送到其所有副本分片，保证每个分片都持有最新数据。

每次写入新文档时，都会先写入内存中，并将这一操作写入一个`translog`文件（transaction log）中，此时如果执行搜索操作，这个新文档还不能被索引到。`如图5`  
![图5、新文档被写入内存，操作被写入translog][5_translog]  
`图5、新文档被写入内存，操作被写入translog`

ES会每隔`1秒`时间（这个时间可以修改）进行一次刷新操作（`refresh`），此时在这`1秒`时间内写入内存的新文档都会被写入一个文件系统缓存（`filesystem cache`）中，并构成一个分段（`segment`）。此时这个`segment`里的文档可以被搜索到，但是尚未写入硬盘，即如果此时发生断电，则这些文档可能会丢失。`如图6`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4_size_16_color_FFFFFF_t_70]  
`图6、在执行刷新后清空内存，新文档写入文件系统缓存`

不断有新的文档写入，则这一过程将不断重复执行。每隔一秒将生成一个新的`segment`，而`translog`文件将越来越大。`如图7`  
![在这里插入图片描述][format_png]  
`图7、translog不断加入新文档记录`

每隔`30分钟`或者`translog`文件变得很大，则执行一次`fsync`操作。此时所有在文件系统缓存中的`segment`将被写入磁盘，而`translog`将被删除（此后会生成新的`translog`）。`如图8`  
![在这里插入图片描述][format_png 1]  
`图8、执行fsync后segment写入磁盘，清空内存和translog`

由上面的流程可以看出，在两次`fsync`操作之间，存储在内存和文件系统缓存中的文档是不安全的，一旦出现断电这些文档就会丢失。所以ES引入了`translog`来记录两次`fsync`之间所有的操作，这样机器从故障中恢复或者重新启动，ES便可以根据`translog`进行还原。

当然，`translog`本身也是文件，存在于内存当中，如果发生断电一样会丢失。因此，ES会在`每隔5秒`时间或是一次写入请求完成后将`translog`写入磁盘。可以认为一个对文档的操作一旦写入磁盘便是安全的可以复原的，因此只有在当前操作记录被写入磁盘，ES才会将操作成功的结果返回发送此操作请求的客户端。

此外，由于每一秒就会生成一个新的`segment`，很快将会有大量的`segment`。对于一个分片进行查询请求，将会轮流查询分片中的所有`segment`，这将降低搜索的效率。因此ES会自动启动合并`segment`的工作，将一部分相似大小的`segment`合并成一个新的大`segment`。合并的过程实际上是创建了一个新的`segment`，当新`segment`被写入磁盘，所有被合并的旧`segment`被清除。`如图9`、`图10`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4_size_16_color_FFFFFF_t_70 1]  
`图9、合并segment`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4_size_16_color_FFFFFF_t_70 2]  
`图10、合并完成后删除旧segment，新segment可供搜索`

#### 1.2 更新（Update）和删除（Delete）文档 ####

ES的索引是不能修改的，因此更新和删除操作并不是直接在原索引上直接执行。

每一个磁盘上的`segment`都会维护一个`del文件`，用来记录被删除的文件。每当用户提出一个删除请求，文档并没有被真正删除，索引也没有发生改变，而是在`del文件`中标记该文档已被删除。`因此，被删除的文档依然可以被检索到，只是在返回检索结果时被过滤掉了。每次在启动segment合并工作时，那些被标记为删除的文档才会被真正删除。`

更新文档会首先查找原文档，得到该文档的版本号。然后将修改后的文档写入内存，此过程与写入一个新文档相同。同时，旧版本文档被标记为删除，同理，该文档可以被搜索到，只是最终被过滤掉。

### 2. 读操作（Read）：查询过程 ###

查询的过程大体上分为查询（`query`）和取回（`fetch`）两个阶段。这个节点的任务是广播查询请求到所有相关分片，并将它们的响应整合成全局排序后的结果集合，这个结果集合会返回给客户端。

**查询阶段**  
当一个节点接收到一个搜索请求，则这个节点就变成了协调节点。

第一步是广播请求到索引中每一个节点的主分片或副本分片。 查询请求可以被某个主分片或某个副本分片处理，协调节点将在之后的请求中轮询所有的分片拷贝来分摊负载。

每个分片将会在本地构建一个优先级队列。如果客户端要求返回结果排序中从第`from`名开始的数量为`size`的结果集，则每个分片都需要生成一个`from+size`大小的结果集，因此优先级队列的大小也是`from+size`。分片仅会返回一个轻量级的结果给协调节点，包含结果集中的每一个文档的`ID`和进行排序所需要的信息。

协调节点会将所有分片的结果汇总，并进行全局排序，得到最终的查询排序结果。此时查询阶段结束。`如图10`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4_size_16_color_FFFFFF_t_70 3]  
`图10、查询过程分布式搜索`

**取回阶段**  
查询过程得到的是一个排序结果，标记出哪些文档是符合搜索要求的，此时仍然需要获取这些文档返回客户端。

协调节点会确定实际需要返回的文档，并向含有该文档的分片发送`get`请求；分片获取文档返回给协调节点；协调节点将结果返回给客户端。`如图11`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4_size_16_color_FFFFFF_t_70 4]  
`图11、分布式搜索的取回阶段`

**相关性计算**  
在搜索过程中对文档进行排序，需要对每一个文档进行打分，判别文档与搜索条件的相关程度。在旧版本的ES中默认采用`TF/IDF（term frequency/inverse document frequency）`算法对文档进行打分。

**数值类型对搜索效率的影响**  
ES5.x之前用到的Lucene版本，实际上只能够索引文本类型的数据，表面上被定义为数值类型的字段，在暗地里都被转换成了字符串，编排成了倒排索引。

[5_translog]: https://img-blog.csdnimg.cn/20200527170327906.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200527182839612.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4=,size_16,color_FFFFFF,t_70
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cuZWxhc3RpYy5jby9ndWlkZS9lbi9lbGFzdGljc2VhcmNoL2d1aWRlL2N1cnJlbnQvaW1hZ2VzL2VsYXNfMTEwOC5wbmc?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cuZWxhc3RpYy5jby9ndWlkZS9lbi9lbGFzdGljc2VhcmNoL2d1aWRlL2N1cnJlbnQvaW1hZ2VzL2VsYXNfMTEwOS5wbmc?x-oss-process=image/format,png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200528093149161.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200528093635318.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200528101517976.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200528104504377.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4=,size_16,color_FFFFFF,t_70