ElasticSearch学习（三）： index的Settings配置参数

谁践踏了优雅 2023-09-27 10:12 147阅读 0赞

ElasticSearch索引配置settings的配置项可分为以下几种类型：

## 1、静态配置项 ##

所谓静态配置项就是在创建index时指定，创建后不能再修改。

### 1.1、分片相关的配置 ###

<table> 
 <thead> 
  <tr> 
   <th style="width:196px;">配置项</th> 
   <th style="width:158px;">功能</th> 
   <th style="width:171px;">备选值</th> 
   <th style="width:61px;">默认值</th> 
   <th style="width:93px;">其他说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="width:196px;"><strong><span style="color:#4da8ee;">index.</span>number_of_shards</strong></td> 
   <td style="width:158px;">当前index拥有的主分片数</td> 
   <td style="width:171px;"></td> 
   <td style="width:61px;">5</td> 
   <td style="width:93px;">最大为1024</td> 
  </tr> 
  <tr> 
   <td style="width:196px;"><strong><span style="color:#4da8ee;">index.</span></strong>shard.check_on_startup</td> 
   <td style="width:158px;">在启动时是否检查分片</td> 
   <td style="width:171px;">false:打开时不检查损坏;<br> true:检查物理损坏;<br> checksum:物理损坏和逻辑损坏都检查</td> 
   <td style="width:61px;">false</td> 
   <td style="width:93px;"></td> 
  </tr> 
  <tr> 
   <td style="width:196px;"><span style="color:#4da8ee;"><strong>index</strong></span>.routing_partition_size</td> 
   <td style="width:158px;">设置的自定义路由可以转到几个分片上</td> 
   <td style="width:171px;"></td> 
   <td style="width:61px;"></td> 
   <td style="width:93px;">大于1小于</td> 
  </tr> 
 </tbody> 
</table>

### 1.2、压缩算法设置 ###

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th style="width:135px;">功能</th> 
   <th style="width:328px;">备选值</th> 
   <th>默认值</th> 
   <th>其他说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>index</strong>.codec</td> 
   <td style="width:135px;">数据压缩算法设置</td> 
   <td style="width:328px;">default：默认全长LZ4压缩算法;<br> best_compression：拥有更高压缩比，但存储性能会降低</td> 
   <td>default</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

### 1.3、排序设置 ###

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th style="width:189px;">功能</th> 
   <th style="width:210px;">备选值</th> 
   <th style="width:147px;">其他说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>index.sort.field</td> 
   <td style="width:189px;">用于排序的字段，多个使用数组</td> 
   <td style="width:210px;"></td> 
   <td style="width:147px;"> <p>排序的字段只能是boolean,numeric,date,</p> <p>keyword类型</p> </td> 
  </tr> 
  <tr> 
   <td>index.sort.order</td> 
   <td style="width:189px;">排序方式</td> 
   <td style="width:210px;">asc:正序;<br> desc:倒序</td> 
   <td style="width:147px;"></td> 
  </tr> 
  <tr> 
   <td>index.sort.mode</td> 
   <td style="width:189px;">用于多个值的字段的排序模式</td> 
   <td style="width:210px;">max : 选最小值;<br> min：选最大值</td> 
   <td style="width:147px;"></td> 
  </tr> 
  <tr> 
   <td>index.sort.missing</td> 
   <td style="width:189px;">当排序字段不存在时指定哪种排序</td> 
   <td style="width:210px;">_first : 按第一个字段来排序;<br> _last：按最后一个字段来排序</td> 
   <td style="width:147px;"></td> 
  </tr> 
 </tbody> 
</table>

### 1.4、数据存储设置 ###

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>功能</th> 
   <th>备选值</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>index.store.type</td> 
   <td>存储的方式</td> 
   <td>fs：文件系统;<br> simplefs：随机文件存储;<br> niofs：非阻塞文件系统存储;<br> mmapfs：mmap内存映射存储</td> 
  </tr> 
  <tr> 
   <td>index.store.preload</td> 
   <td>将索引文件预加载到内存中</td> 
   <td>* ：所有数据;<br> nvd：存储各个影响分数的因子的数据;<br> dvd：文档的值;<br> tim：文件字典;<br> doc：发布清单;<br> dim：点数据</td> 
  </tr> 
 </tbody> 
</table>

## 2、动态配置项 ##

所谓动态配置项是在创建index后，还可以通过API动态来修改。

### 2.1、分片相关配置 ###

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>功能</th> 
   <th>备选值</th> 
   <th>默认值</th> 
   <th>其他说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>index.number_of_replicas</td> 
   <td>每个主分片拥有的副本数</td> 
   <td></td> 
   <td>1</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>index.auto_expand_replicas</td> 
   <td>是否根据节点数量，自动扩展副本数量</td> 
   <td></td> 
   <td>false</td> 
   <td>也可以设置0-5的数字</td> 
  </tr> 
  <tr> 
   <td>index.routing.allocation.enable</td> 
   <td>控制此索引的路由分片分配</td> 
   <td>all:针对所有分片;<br> primaries:所有主分片;<br> new_primaries:仅允许分配新建的主分片;<br> none:不允许分片</td> 
   <td>all</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>index.routing.reblance.enable</td> 
   <td>开启分片重新负载均衡的开关</td> 
   <td>all:针对所有分片;<br> primaries:所有主分片;<br> replicas:所有副本分片;<br> none:不允许分片</td> 
   <td>all</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

### 2.2、查询相关的设置 ###

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>功能</th> 
   <th>备选值</th> 
   <th style="width:64px;">默认值</th> 
   <th style="width:54px;">其他说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>index.max_result_window</td> 
   <td>一次最多获取多少条记录</td> 
   <td></td> 
   <td style="width:64px;">10000</td> 
   <td style="width:54px;"></td> 
  </tr> 
  <tr> 
   <td>index.max_inner_result_window</td> 
   <td>内层的hits的条数和最高的命中的数据条数</td> 
   <td></td> 
   <td style="width:64px;">100</td> 
   <td style="width:54px;"></td> 
  </tr> 
  <tr> 
   <td>index.max_rescore_window</td> 
   <td>重新打分请求的最大数量</td> 
   <td></td> 
   <td style="width:64px;">10000</td> 
   <td style="width:54px;"></td> 
  </tr> 
  <tr> 
   <td>index.max_docvalue_fields_search</td> 
   <td>查询中最大允许的docvalue-field的数量</td> 
   <td></td> 
   <td style="width:64px;">100</td> 
   <td style="width:54px;"></td> 
  </tr> 
  <tr> 
   <td>index.max_script_fields</td> 
   <td>在查询中script_fields的最大数量</td> 
   <td></td> 
   <td style="width:64px;">10000</td> 
   <td style="width:54px;"></td> 
  </tr> 
  <tr> 
   <td>index.highlight.max_analyzed_offset</td> 
   <td>高亮显示最大的字符数</td> 
   <td></td> 
   <td style="width:64px;"></td> 
   <td style="width:54px;"></td> 
  </tr> 
  <tr> 
   <td>index.max_terms_count</td> 
   <td>查询语句中terms子名的最大数量</td> 
   <td></td> 
   <td style="width:64px;">65536</td> 
   <td style="width:54px;"></td> 
  </tr> 
  <tr> 
   <td>index.max_regex_length</td> 
   <td>在正则查询表达式中使用的正则表达式最大长度</td> 
   <td></td> 
   <td style="width:64px;">1000</td> 
   <td style="width:54px;"></td> 
  </tr> 
 </tbody> 
</table>

### 2.3、索引读写开关相关的配置 ###

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>功能</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>index.blocks.read_only</td> 
   <td>是否只允许索引和元数据的读取操作</td> 
  </tr> 
  <tr> 
   <td>index.blocks_read_only_allow_delete</td> 
   <td>是否只允许索引的读操作和删除操作</td> 
  </tr> 
  <tr> 
   <td>index.blocks.read</td> 
   <td>是否禁止索引数据的读取</td> 
  </tr> 
  <tr> 
   <td>index.blocks.write</td> 
   <td>是否禁止索引数据的写操作</td> 
  </tr> 
  <tr> 
   <td>index.blocks.metadata</td> 
   <td>是否禁止元数据的读写操作</td> 
  </tr> 
 </tbody> 
</table>

### 2.4、刷新索引的设置 ###

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th style="width:243px;">功能</th> 
   <th style="width:129px;">备选值</th> 
   <th style="width:57px;">默认值</th> 
   <th>其他说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>index.refresh.interval</td> 
   <td style="width:243px;">执行刷新操作的频率，索引更新多久才对搜索可见</td> 
   <td style="width:129px;">-1:表示禁止刷新;<br> 1s:表示1秒</td> 
   <td style="width:57px;">1s</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>index.max_refresh_listeners</td> 
   <td style="width:243px;">每个分片上最大刷新监听器的数量</td> 
   <td style="width:129px;"></td> 
   <td style="width:57px;"></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

### 2.5、translog设置 ###

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>功能</th> 
   <th>备选值</th> 
   <th>默认值</th> 
   <th>其他说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>index.translog.sync_interval</td> 
   <td>将数据同步到磁盘的频率</td> 
   <td></td> 
   <td>5s</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>index.translog.durablility</td> 
   <td>将数据刷新到磁盘的时机</td> 
   <td>request:每次请求都同步刷新;<br> async:后台按照刷新频率定时刷新</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>index.translog.flush_threshold_size</td> 
   <td>刷新日志的最大阀值</td> 
   <td></td> 
   <td>512M</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>index.translog.retention.size</td> 
   <td>中继日志文件保存数据的总容量</td> 
   <td></td> 
   <td>512M</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>index.translog.retention.age</td> 
   <td>中继日志文件保存的最长时间</td> 
   <td></td> 
   <td>12h</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

### 2.6、慢日志设置 ###

(1)慢搜索日志设置

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>功能</th> 
   <th>默认值</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>index.search.slowlog.threshold.query.warn</td> 
   <td>warn级别的慢搜索日志的阀值(即多少秒的搜索才算warn级别的慢搜索)</td> 
   <td>10s</td> 
  </tr> 
  <tr> 
   <td>index.search.slowlog.threshold.query.info</td> 
   <td>info级别的慢搜索日志的阀值(即多少秒的搜索才算info级别的慢搜索)</td> 
   <td>10s</td> 
  </tr> 
  <tr> 
   <td>index.search.slowlog.threshold.query.debug</td> 
   <td>debug级别的慢搜索日志的阀值(即多少秒的搜索才算debug级别的慢搜索)</td> 
   <td>10s</td> 
  </tr> 
  <tr> 
   <td>index.search.slowlog.threshold.query.trace</td> 
   <td>trace级别的慢搜索日志的阀值(即多少秒的搜索才算trace级别的慢搜索)</td> 
   <td>10s</td> 
  </tr> 
  <tr> 
   <td>index.search.slowlog.threshold.fetch.warn</td> 
   <td>warn级别的慢获取数据日志的阀值(即多少秒的获取数据才算warn级别的慢获取)</td> 
   <td>10s</td> 
  </tr> 
  <tr> 
   <td>index.search.slowlog.threshold.fetch.info</td> 
   <td>info级别的慢获取日志的阀值(即多少秒的获取数据才算info级别的慢获取)</td> 
   <td>10s</td> 
  </tr> 
  <tr> 
   <td>index.search.slowlog.threshold.fetch.debug</td> 
   <td>warn级别的慢获取日志的阀值(即多少秒的获取数据才算debug级别的慢获取)</td> 
   <td>500ms</td> 
  </tr> 
  <tr> 
   <td>index.search.slowlog.threshold.fetch.trace</td> 
   <td>warn级别的慢获取日志的阀值(即多少秒的搜索才算trace级别的慢获取)</td> 
   <td>10s</td> 
  </tr> 
  <tr> 
   <td>index.search.slowlog.level</td> 
   <td>慢搜索日志的级别</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

(2)慢索引日志设置

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>功能</th> 
   <th>默认值</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>index.indexing.slowlog.threshold.index.warn</td> 
   <td>warn级别的慢索引日志的阀值(即多少秒的索引才算warn级别的慢索引)</td> 
   <td>10s</td> 
  </tr> 
  <tr> 
   <td>index.indexing.slowlog.threshold.index.info</td> 
   <td>info级别的慢索引日志的阀值(即多少秒的索引才算info级别的慢索引)</td> 
   <td>10s</td> 
  </tr> 
  <tr> 
   <td>index.indexing.slowlog.threshold.index.debug</td> 
   <td>debug级别的慢索引日志的阀值(即多少秒的索引才算debug级别的慢索引)</td> 
   <td>10s</td> 
  </tr> 
  <tr> 
   <td>index.indexing.slowlog.threshold.index.trace</td> 
   <td>trace级别的慢索引日志的阀值(即多少秒的索引才算trace级别的慢索引)</td> 
   <td>10s</td> 
  </tr> 
  <tr> 
   <td>index.indexing.slowlog.level</td> 
   <td>慢索引日志的级别</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>index.indexing.slowlog.source</td> 
   <td>记录source的大小</td> 
   <td>(false/0:记录整个慢日志;1000:记录source中的前1000个字符)</td> 
  </tr> 
 </tbody> 
</table>

### 2.7、mapping相关设置 ###

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>功能</th> 
   <th>备选值</th> 
   <th>默认值</th> 
   <th>其他说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>index.mapping.total_fields_limit</td> 
   <td>一次索引中字段数的最大数量</td> 
   <td></td> 
   <td>1000</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>index.mapping.depth.limit</td> 
   <td>索引中字段的深度限制(即字段可以嵌套多少层)</td> 
   <td></td> 
   <td>20</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>index.mapping.nested_fields_limit</td> 
   <td>一个索引中内嵌字段的最大数量</td> 
   <td></td> 
   <td>50</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

## 3、示例 ##

PUT/my_index
    {
    	"settings": {
    		"index": {
    			"number_of_shards": "1",
    			"number_of_replicas": "1",
    			"refresh_interval": "60s",
    			"analysis": {
    				"filter": {
    					"tsconvert": {
    						"type": "stconvert",
    						"convert_type": "t2s",
    						"delimiter": ","
    					},
    					"synonym": {
    						"type": "synonym",
    						"synonyms_path": "analysis/synonyms.txt"
    					}
    				},
    				"analyzer": {
    					"ik_max_word_synonym": {
    						"filter": ["synonym",
    						"tsconvert",
    						"standard",
    						"lowercase",
    						"stop"],
    						"tokenizer": "ik_max_word"
    					},
    					"ik_smart_synonym": {
    						"filter": ["synonym",
    						"standard",
    						"lowercase",
    						"stop"],
    						"tokenizer": "ik_smart"
    					}
    				},
    				"mapping": {
    					"coerce": "false",
    					"ignore_malformed": "false"
    				},
    				"indexing": {
    					"slowlog": {
    						"threshold": {
    							"index": {
    								"warn": "2s",
    								"info": "1s"
    							}
    						}
    					}
    				},
    				"provided_name": "hospital_202101070533",
    				"query": {
    					"default_field": "timestamp",
    					"parse": {
    						"allow_unmapped_fields": "false"
    					}
    				},
    				"requests": {
    					"cache": {
    						"enable": "true"
    					}
    				},
    				"search": {
    					"slowlog": {
    						"threshold": {
    							"fetch": {
    								"warn": "1s",
    								"info": "200ms"
    							},
    							"query": {
    								"warn": "1s",
    								"info": "500ms"
    							}
    						}
    					}
    				}
    			}
    		}
    	}
    }

> #### 固定属性 ####
> 
>  *  ***`index.creation_date`***：顾名思义索引的创建时间戳。
>  *  ***`index.uuid`***：索引的 uuid 信息。
>  *  ***`index.version.created`***：索引的版本号。
> 
> #### 索引静态配置 ####
> 
>  *  ***`index.number_of_shards`***：索引的主分片数，默认值是 ***`5`***。这个配置在索引创建后不能修改；在 es 层面，可以通过 ***`es.index.max_number_of_shards`*** 属性设置索引最大的分片数，默认为 ***`1024`***。
>  *  ***`index.codec`***：数据存储的压缩算法，默认值为 ***`LZ4`***，可选择值还有 ***`best_compression`***，它比 LZ4 可以获得更好的压缩比（即占据较小的磁盘空间，但存储性能比 LZ4 低）。
>  *  ***`index.routing_partition_size`***：路由分区数，如果设置了该参数，其路由算法为：( hash(\_routing) + hash(\_id) % index.routing\_parttion\_size ) % number\_of\_shards。如果该值不设置，则路由算法为 hash(\_routing) % number\_of\_shardings，\_routing 默认值为 \_id。
> 
> 静态配置里，有重要的部分是配置分析器（config analyzers）。
> 
>  *  ***`index.analysis`***：分析器最外层的配置项，内部主要分为 ：
>     
>      *  ***`char_filter`***：定义新的字符过滤器件。
>      *  ***`tokenizer`***：定义新的分词器。
>      *  ***`filter`***：定义新的 token filter，如同义词 filter。
>      *  ***`analyzer`***：配置新的分析器，一般是char\_filter、tokenizer 和一些 token filter 的组合。
> 
> #### 索引动态配置 ####
> 
>  *  ***`index.number_of_replicas`***：索引主分片的副本数，默认值是 ***`1`***，该值必须大于等于 0，这个配置可以随时修改。
>  *  ***`index.refresh_interval`***：执行新索引数据的刷新操作频率，该操作使对索引的最新更改对搜索可见，默认为 ***`1s`***。也可以设置为 ***`-1`*** 以禁用刷新