Elasticsearch段合并情况

快来打我* 2022-06-06 12:36 175阅读 0赞

# Elasticsearch段合并 #

elasticsearch 中每个索引都会创建一个到多个**分片**和零个到多个**副本**，这些分片或副本实质上都是**lucene索引**

**lucene索引**是基于多个索引段创建，索引文件中绝大部分数据都是只写一次，读多次，而只有用于保存文档删除信息的文件才会被多次更改

在某些时刻，当某种条件满足时，多个索引段会被拷贝合并到一个更大的索引段，而那些旧的索引段会被抛弃并从磁盘中删除，这操作叫做段合并（segment merging）

# 为什么要进行段合并？ #

*  索引段的个数越多，搜索性能越低且消耗内存更多
 *  索引段是不可变的，物理上你并不能从中删除信息（如果你碰巧从索引中删除了大量文档，但这些文档只是做了删除标记，物理上并没有被删除）而当段合并发送时，这些标记为删除的文档并没有被复制到新的索引段中

# 段合并好处 #

*  当多个索引段合并为一个的时候，会减少索引段的数量并提高搜索速度
 *  同时也会减少索引的容量（文档数）

# 段合并代价 #

*  IO操作代价，在速度较慢的系统中，段合并会显著影响性能

elasticsearch允许用户选择段合并政策（merge policy）及储存级节流（store level throttling）

# 选择正确的段合并策略 #

尽管段合并是lucene的责任，elasticsearch也允许用户配置想用的段合并策略  
到目前为止有三种可用的合并策略：

*  **tiered（默认）**  
    它能合并大小相似的索引段，并考虑每层允许的索引段的最大个数
 *  **log\_byte\_size**  
    该策略不断地以字节数的对数为计算单位，选择多个索引来合并创建新索引
 *  **log\_doc**  
    与log\_byte\_size类似，不同的是前者基于索引的字节数计算，后者基于索引段文档数计算

为了告知elasticsearch我们想使用的段合并策略，可以将配置文件的index.merge.policy字段泪痣成我们期望的段合并策略类型例如：**index.merge.policy.type: tiered**

# 调度 #

es允许我们定制合并策略的执行方式，调度器分两种  
默认的是并发合并调度器 ConcurrentMerge-Scheduler

## 并发合并调度器 ##

该调度器使用多线程执行索引合并操作

## 顺序合并调度器 ##

它使用同一个线程执行所有的索引合并操作，在执行合并时，该线程的其他文档处理都会被挂起，从而索引操作会延迟进行

（注：内容整理自《深入理解elasticsearch》）

</div>
    </article>

发表评论取消回复

表情：

评论列表（有 0 条评论，175人围观）

还没有评论，来说两句吧...

相关阅读

相关【Elasticsearch】使用Elasticsearch实现同段和同句搜索

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。有问题可以先私聊我，本人每天都在线，会帮助需要的人。文章目录 1.

梦里梦外;/ 2022年10月08日 00:59/ 0 赞/ 140 阅读

相关 Elasticsearch搜索引擎：ES的segment段合并原理

在讲 segment 之前，我们先用一张图了解下 ES 的整体存储架构图，方便后面内容的理解： ![watermark_type_ZmFuZ3poZW5naGVpdGk_sh

喜欢ヅ旅行/ 2022年10月07日 05:45/ 0 赞/ 191 阅读

相关 EasyPoi导入数据字段为null的情况

情况一：导入的表格名字与代码中的Excel中定义的名字不一致。情况二：如果有表头行和标题行，必须删除，否则有肯定会获取不到数据，或者获取不到某些字段，插入到

一时失言乱红尘/ 2022年09月02日 00:54/ 0 赞/ 714 阅读

相关【Elasticsearch】es 定期删除已经删除的数据物理删除不是等待段合并

文章目录 1.概述 ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q

「爱情、让人受尽委屈。」/ 2022年08月31日 11:24/ 0 赞/ 299 阅读

相关 ping判断同网段ip使用情况

1、while \[root@node01 day4\]\ cat ping1.sh \!/bin/bash ip=1 while \[ "$ip" != "

爱被打了一巴掌/ 2022年06月09日 11:25/ 0 赞/ 264 阅读

相关 Elasticsearch段合并情况

Elasticsearch段合并 elasticsearch 中每个索引都会创建一个到多个分片和零个到多个副本，这些分片或副本实质上都是lucene索

快来打我*/ 2022年06月06日 12:36/ 0 赞/ 176 阅读

相关 Elasticsearch里面的segment合并

通过前面的文章，我们已经知道在elasticsearch中每个shard每隔1秒都会refresh一次，每次refresh都会生成一个新的segment，按照这个速度过不了多久

男娘i/ 2022年05月29日 08:29/ 0 赞/ 263 阅读

相关 ORACLE合并字段的二种方式

方式一：使用 || 如： SELECT 字段A || 字段B FROM 表名方式二：使用 CONCAT 函数如： SELECT CONCAT(字段A

我不是女神ヾ/ 2022年05月27日 01:46/ 0 赞/ 197 阅读

相关 Elasticsearch里面的segment合并

通过前面的文章，我们已经知道在elasticsearch中每个shard每隔1秒都会refresh一次，每次refresh都会生成一个新的segment，按照这个速度过不了多久

ゝ一世哀愁。/ 2022年04月06日 12:42/ 0 赞/ 283 阅读

相关 elasticSearch 设置字段的keyword属性

es查询时候我们经常会遇到对text类型的文档进行查询或者聚合时候，发现聚合的字段被es分词了，所以这个时候就需要我们对该字段设置一个keyword属性然后，将该keyword

阳光穿透心脏的1/2处/ 2021年09月28日 03:26/ 0 赞/ 688 阅读