ElasticSearch--优化写入速度的方法--单个索引的操作

小鱼儿 2023-09-29 17:06 16阅读 0赞

原文网址：[ElasticSearch--优化写入速度的方法--单个索引的操作\_IT利刃出鞘的博客-CSDN博客][ElasticSearch--_--_IT_-CSDN]

## 简介 ##

**说明**

本文介绍如何在单个索引的层面优化写入的方法。

**相关网址**

[ElasticSearch--优化写入速度的方法--修改配置\_IT利刃出鞘的博客-CSDN博客][ElasticSearch--_--_IT_-CSDN 1]

>  **粉丝福利**：有很多粉丝私信问我有没有Java的面试及PDF书籍等资料，我整理一下，包含：**真实**面试题汇总、简历模板、PDF书籍、PPT模板等。这些是**我自己也在用**的资料，面试题是面试官问到我的问题的整理，其他资料也是我自用的，真正**实用、靠谱**。资料可以从这里免费获取：[资料地址][Link 1]

## 自动生成doc ID（推荐） ##

通过ES写入流程可以看出，写入doc时如果外部指定了id，则ES会先尝试读取原来doc的版本号，以判断是否需要更新。这会涉及一次读取磁盘的操作，通过自动生成doc ID可以避免这个环节。

## 调整字段Mappings（推荐） ##

1.  减少字段数量，对于不需要建立索引的字段，不写入ES；
2.  将不需要建立索引的字段index属性设置为not\_analyzed或no。对字段不分词，或者不索引，可以减少很多运算操作，降低CPU占用。尤其是binary类型，默认情况下占用CPU非常高，而这种类型进行分词通常没有什么意义；
3.  减少字段内容长度，如果原始数据的大段内容无须全部建立索引，则可以尽量减少不必要的内容；
4.  使用不同的分词器（analyzer），不同的分析器在索引过程中运算复杂度也有较大的差异。

## 调整\_source字段（不推荐） ##

\_source字段用于存储doc原始数据，对于部分不需要存储的字段，可以通过includes excludes过滤，或者将\_source禁用，一般用于索引和数据分离。

这样可以降低I/O的压力，不过实际场景中大多不会禁用\_source，而即使过滤某些字段，对于写入速度的提升作用也不大，满负荷写入情况下，基本是CPU先跑满了，瓶颈在于CPU。

## 禁用\_all字段（推荐） ##

从ES 6.0开始，\_all字段默认认为不启用，而在此前的版本中，\_all字段默认是开启的。\_all字段中包含所有字段分词后的关键词，作用是可以在搜索的时候不指定特定字段，从所有字段中检索。

## 对Analyzed的字段禁用Norms（不推荐） ##

Norms用于在搜索时计算doc的评分，如果不需要评分，则可以将其禁用：  
"title " : \{ "type" : "string" , "norms" : \{ "enabled" : false\}\}

## index\_options设置（不推荐） ##

index\_options用于控制在建立倒排索引过程中，哪些内容会被添加到倒排索引，例如，doc数量、词频、positions、offsets等信息，优化这些设置可以一定程度降低索引过程中的运算任务，节省CPU占用率。

不过在实际场景中，通常很难确定业务将来会不会用到这些信息，除非一开始方案就明确是这样设计的。

[ElasticSearch--_--_IT_-CSDN]: https://knife.blog.csdn.net/article/details/126577906
[ElasticSearch--_--_IT_-CSDN 1]: https://knife.blog.csdn.net/article/details/126497339
[Link 1]: https://app.yinxiang.com/fx/d2ac6ff4-94c5-4e5f-9d4f-f5dfc344ede6