【Elasticsearch】优秀实践-你的ES为什么写的慢了？

系统管理员 2022-11-15 14:16 311阅读 0赞

## 前言 ##

经常会有人吐槽，Elasticsearch为什么写着写着突然就慢了？  
笔者总结了常见的一些导致写入慢的场景，以供大家排查。

> 话不多说，进入正题…

## Elasticsearch写入慢问题排查思路 ##

> Elasticsearch的写入场景相对比较简单，绝大部分场景下我们都是使用bulk API进行写入操作，列举了下面一些场景可能会导致写入慢的问题。

**场景1 内存参数配置不合理。**

> 是否给Elasticsearch实例足够的内存，如果内存足够的话，建议配置30GB每个Elasticsearch数据实例节点。

**场景2 bulk提交量过大，导致内存被堆满。**

> 一次提交的bulk数量不宜过大，实践证明5-10MB左右大小合适。

**场景3 客户端IP，端口配置问题。**

> 因为Elasticsearch的客户端采用的是轮询的方式，所以尽量配置所有节点的IP、端口，或者开启嗅探功能。

**场景4 写入时指定DOC ID，导致读IO高。**

> 写入时指定DOC ID，意味着首先需要判断ID是否重复，如果在大数据量的场景下，可能会需要从磁盘进行一次读操作，从而占用大量的磁盘IO，导致写入速度慢。

**场景5 bulk队列积压，请求线程被拒绝。**

> 大量的bulk队列被等待或者积压，导致线程被拒绝，这时候需要适当降低业务请求的并发量。

**场景6 热分片问题。**

> 单个索引的分片集中分布在某几个机器节点上，导致写入压力无法均匀地分布到各个机器节点上，形成阻塞的问题。

**场景7 集群不稳定，大量分片迁移和恢复。**

> 如果你的集群处于不稳定的状态，比如有大量的分片在做均衡迁移或者恢复，都会占用大量的资源，导致写入资源被占用。

**场景8 部分实例长时间不断的full gc，导致实例处于假死状态。**

> 部分场景下，数据实例处于长时间不断的full gc，但此时并没有完全脱离集群，写入请求仍然往这个节点发送，此时节点已经无法处理了。快速解决办法：重启问题实例。

**场景9 磁盘IO瓶颈。**

> 当磁盘出现IO瓶颈，能怎么办呢，换更好的盘？？，或者扩容吧。

**场景10 查询业务占用大量的资源。**

> 高并发的查询或者大数据的查询可能会占用大量的资源，此时需要衡量你的系统侧重点了，实在不行，扩容吧。

**场景11 索引段合并占用大量的IO资源。**

> 索引段合并太频繁同样会占用大量的IO资源，如果不是SSD盘，将索引段合并线程设置为1。

**场景12 分词器设计不合理。**

> 不同的分词对写入影响很大，分词器设计不合理，可能会存在大量的CPU计算和过度分词等问题。

## 小结 ##

列举了一些常见的会造成写入慢的场景，更多的写入调优手段在这里，还等什么。

文章来源：[http://www.voycn.com/article/elasticsearch-youxiushijian-nideesweishenmexiedemanle][http_www.voycn.com_article_elasticsearch-youxiushijian-nideesweishenmexiedemanle]

[http_www.voycn.com_article_elasticsearch-youxiushijian-nideesweishenmexiedemanle]: http://www.voycn.com/article/elasticsearch-youxiushijian-nideesweishenmexiedemanle

发表评论取消回复

表情：

评论列表（有 0 条评论，311人围观）

还没有评论，来说两句吧...

相关阅读

相关【Elasticsearch实践】Elasticsearch为什么这么快

建议先自行学习偏基础的 Elasticsearch 知识内容： [Elasticsearch基础][Elasticsearch] 思考几个问题：为什么搜索是近

一时失言乱红尘/ 2023年02月22日 10:39/ 0 赞/ 124 阅读

相关【Elasticsearch实践】（六）ES搜索

一、复杂查询 1.1、复杂条件搜索复杂条件搜索 GET tindex/_doc/_search { "query":{

雨点打透心脏的1/2处/ 2023年02月20日 10:48/ 0 赞/ 32 阅读

相关你的 Redis 为什么变慢了？

点击上方“程序猿技术大咖”，关注加群讨论来源丨 http://kaito-kidd.com/2020/07/03/redis-latency-analysis/ R

以你之姓@/ 2022年12月13日 04:24/ 0 赞/ 249 阅读

相关【Elasticsearch】优秀实践-你的ES为什么写的慢了？

前言经常会有人吐槽，Elasticsearch为什么写着写着突然就慢了？笔者总结了常见的一些导致写入慢的场景，以供大家排查。 > 话不多说，进入正题… El

系统管理员/ 2022年11月15日 14:16/ 0 赞/ 312 阅读

相关【ElasticSearch】es 压缩你的数据

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。有问题可以先私聊我，本人每天都在线，会帮助需要的人。文章目录 1.

不念不忘少年蓝@/ 2022年10月08日 14:28/ 0 赞/ 163 阅读

相关为什么你写的代码糟透了？

我经常在 Reddit 或 Quora 上看到有人问“怎么知道自己是否可以成为一名成功的程序员”？。当有人在考虑职业转型，或者对软件开发感兴趣，并且对软件开发所涉及的内容感到好

心已赠人/ 2022年02月22日 01:49/ 0 赞/ 245 阅读

相关为什么你的MySQL跑得很慢？

其实这是一个老问题了：为什么会觉得数据库比较慢呢？再换种问法：数据库优化要从哪些方面入手？ ![MySQL][] 第一点，硬件太老硬件我们这里主要从CPU、内存、磁

柔光的暖阳◎/ 2022年01月15日 07:47/ 0 赞/ 273 阅读

相关为什么重复的GET请求变慢了？

最近在研究慢请求监控的问题，写了一个简单的测试代码：在网页端(`index.html`)通过`fetch`函数向服务端获取数据，然后打印请求耗时。 function

你的名字/ 2021年12月05日 16:28/ 0 赞/ 341 阅读

相关为什么你写的拦截器注入不了 Java bean？

一、如何实现拦截器在Spring Boot项目中，拦截器经常被用来做登陆验证，日志记录等操作。拦截器是Spring提供的，所以可以将拦截器注成bean，由IOC容器来管

待我称王封你为后i/ 2021年09月18日 06:20/ 0 赞/ 264 阅读

相关 Redis为什么变慢了？

> 阅读本文大约需要 30 分钟。 Redis 作为优秀的内存数据库，其拥有非常高的性能，单个实例的 OPS 能够达到 10W 左右。但也正因此如此，当我们在使用 Redis

今天药忘吃喽~/ 2021年09月07日 06:06/ 0 赞/ 410 阅读