Elasticsearch 生产环境集群部署最佳实践

阳光穿透心脏的1/2处 2022-10-18 00:53 294阅读 0赞

转自：[https://elastic.blog.csdn.net/article/details/114558076][https_elastic.blog.csdn.net_article_details_114558076]

# 1、内存 #

Elasticsearch 和 Lucene 都是 Java 语言编写，这意味着我们必须注意堆内存的设置。

Elasticsearch 可用的堆越多，它可用于过滤器（filter）和其他缓存的内存也就越多，更进一步讲可以提高查询性能。

但请注意，过多的堆可能会使垃圾回收暂停时间过长。请勿将堆内存的最大值设置为 JVM 用于压缩对象指针（压缩的 oops）的临界值之上，确切的临界值有所不同，但不要超过 32 GB。

推荐：干货 | 吃透Elasticsearch 堆内存

[http://mp.weixin.qq.com/s?\_\_biz=MzI2NDY1MTA3OQ%3D%3D&chksm=eaa82a45dddfa3533c5e8a01940fa9a58a047b6b775ca770fd9518652848bd62b644d3d19689&idx=1&mid=2247484013&scene=21&sn=b90fc9f954c63f0be3f6929641521acc\#wechat\_redirect][http_mp.weixin.qq.com_s_biz_MzI2NDY1MTA3OQ_3D_3D_chksm_eaa82a45dddfa3533c5e8a01940fa9a58a047b6b775ca770fd9518652848bd62b644d3d19689_idx_1_mid_2247484013_scene_21_sn_b90fc9f954c63f0be3f6929641521acc_wechat_redirect]

常见内存配置坑 1：堆内存设置过大  
举例：Elasticsearch 宿主机：64 GB 内存，堆内存恨不得设置为 64 GB。

但，这忽略了堆的另一部分内存使用大户：OS 文件缓存。

Lucene 旨在利用底层操作系统来缓存内存中的数据结构。Lucene 段存储在单独的文件中。

由于段是不可变的（immutable），因此这些文件永远不会更改。这使它们非常易于缓存，并且底层操作系统很乐意将热段驻留在内存中，以加快访问速度。

这些段包括倒排索引（用于全文搜索）和doc values 正排索引（用于聚合）。Lucene 的性能取决于与 OS 文件缓存的交互。

如果你将所有可用内存分配给 Elasticsearch 的堆，则 OS 文件缓存将不会剩下任何可用空间。这会严重影响性能。

官方标准建议是：将 50％ 的可用内存（不超过 32 GB，一般建议最大设置为：31 GB）分配给 Elasticsearch 堆，而其余 50％ 留给 Lucene 缓存。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70][]

可以通过以下方式配置 Elasticsearch 堆：

**方式一：堆内存配置文件 jvm.options**

\# Xms represents the initial size of total heap space  
\# Xmx represents the maximum size of total heap space  
\-Xms16g  
\-Xmx16g

**方式二：启动参数设置**

ES\_JAVA\_OPTS="-Xms10g -Xmx10g" ./bin/elasticsearch

# 2、CPU #

运行复杂的缓存查询、密集写入数据都需要大量的CPU，因此选择正确的查询类型以及渐进的写入策略至关重要。

一个节点使用多个线程池来管理内存消耗。与线程池关联的队列使待处理的请求得以保留（类似缓冲效果）而不是被丢弃。

由于 Elasticsearch会做动态分配，除非有非常具体的要求，否则不建议更改线程池和队列大小。

线程池和队列的设置，参见：

Elasticsearch 线程池和队列问题，请先看这一篇。

[http://mp.weixin.qq.com/s?\_\_biz=MzI2NDY1MTA3OQ%3D%3D&chksm=eaa822f1dddfabe76645591a68d67e875fd2fe71a027b5de35d139257a3e0b0129a6c552a42f&idx=1&mid=2247486169&scene=21&sn=3b3bcc332b8589fd5ff9a7b60a780ac4\#wechat\_redirect][http_mp.weixin.qq.com_s_biz_MzI2NDY1MTA3OQ_3D_3D_chksm_eaa822f1dddfabe76645591a68d67e875fd2fe71a027b5de35d139257a3e0b0129a6c552a42f_idx_1_mid_2247486169_scene_21_sn_3b3bcc332b8589fd5ff9a7b60a780ac4_wechat_redirect]

推荐：

Elasticsearch高级调优方法论之——根治慢查询！

[http://mp.weixin.qq.com/s?\_\_biz=MzI2NDY1MTA3OQ%3D%3D&chksm=eaa82c44dddfa5521a911b310a1919c4fc349df46348f57d8876f6e4a10049d23c7f58e3f810&idx=1&mid=2247484524&scene=21&sn=8dea7970f351f5f9aa3534ef2f007cb1\#wechat\_redirect][http_mp.weixin.qq.com_s_biz_MzI2NDY1MTA3OQ_3D_3D_chksm_eaa82c44dddfa5521a911b310a1919c4fc349df46348f57d8876f6e4a10049d23c7f58e3f810_idx_1_mid_2247484524_scene_21_sn_8dea7970f351f5f9aa3534ef2f007cb1_wechat_redirect]

为什么Elasticsearch查询变得这么慢了？

[http://mp.weixin.qq.com/s?\_\_biz=MzI2NDY1MTA3OQ%3D%3D&chksm=eaa82b65dddfa273a5c060cbbf2db340f7841fe90c0273018c12be29cb6c4f2612efa9253b01&idx=1&mid=2247484237&scene=21&sn=9a7a79680d413d4fd0c104b85b507fe1\#wechat\_redirect][http_mp.weixin.qq.com_s_biz_MzI2NDY1MTA3OQ_3D_3D_chksm_eaa82b65dddfa273a5c060cbbf2db340f7841fe90c0273018c12be29cb6c4f2612efa9253b01_idx_1_mid_2247484237_scene_21_sn_9a7a79680d413d4fd0c104b85b507fe1_wechat_redirect]

## 7.9 增大ulimit大小 ##

增加ulimit大小以允许最大文件数，这属于非常常规的设置。

在 /etc/profile 下设置：

**ulimit -n 65535**

## **7.10 合理设置交互内存** ##

当操作系统决定换出未使用的应用程序内存时，ElasticSearch 性能可能会受到影响。

通过 elasticsearch.yml 下配置：

bootstrap.mlockall: true

## 7.11 禁用通配符模糊匹配删除索引 ##

禁止通过通配符查询删除所有索引。

为确保某人不会对所有索引（\* 或 \_all）发出 DELETE 操作，设置如下：

PUT /\_cluster/settings  
\{  
  "persistent": \{  
    "action.destructive\_requires\_name": true  
  \}  
\}  
此时如果我们再使用通配符删除索引，举例执行如下操作：

DELETE join\_\*  
会报错如下：

\{  
  "error" : \{  
    "root\_cause" : \[  
      \{  
        "type" : "illegal\_argument\_exception",  
        "reason" : "Wildcard expressions or all indices are not allowed"  
      \}  
    \],  
    "type" : "illegal\_argument\_exception",  
    "reason" : "Wildcard expressions or all indices are not allowed"  
  \},  
  "status" : 400  
\}

# 8、常用指标监视 API #

## 8.1 集群健康状态 API ##

GET \_cluster/health?pretty

## 8.2 索引信息 API ##

GET \_cat/indices?pretty&v

## 8.3 节点状态 API ##

GET \_nodes?pretty

## 8.4 主节点信息 API ##

GET \_cat/master?pretty&v

## 8.5 分片分配、索引信息统计 API ##

GET \_stats?pretty

## 8.6 节点状态信息统计 API ##

统计节点的jvm，http，io统计信息。

GET \_nodes/stats?pretty  
大多数系统监视工具（如kibana、cerebro 等）都支持 Elasticsearc h的指标聚合。

建议使用此类工具持续监控集群状态信息。

# 9、小结 #

ElasticSearch 具有很好的默认配置以供新手快速上手、入门。但是，一旦到了线上业务实战环境，就必须花费一些时间来调整设置以满足实际业务功能要求以及性能指标要求。

建议你参考本文建议并结合官方文档修改相关配置，以使得集群整体部署最优。

加微信：elastic6，一起探讨部署最佳实践。

# 参考 #

https://blog.csdn.net/laoyang360/article/details/114558076

https://medium.com/@abhidrona/elasticsearch-deployment-best-practices-d6c1323b25d7

https://t.zsxq.com/UVbQbee

[https_elastic.blog.csdn.net_article_details_114558076]: https://elastic.blog.csdn.net/article/details/114558076
[http_mp.weixin.qq.com_s_biz_MzI2NDY1MTA3OQ_3D_3D_chksm_eaa82a45dddfa3533c5e8a01940fa9a58a047b6b775ca770fd9518652848bd62b644d3d19689_idx_1_mid_2247484013_scene_21_sn_b90fc9f954c63f0be3f6929641521acc_wechat_redirect]: http://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ%3D%3D&chksm=eaa82a45dddfa3533c5e8a01940fa9a58a047b6b775ca770fd9518652848bd62b644d3d19689&idx=1&mid=2247484013&scene=21&sn=b90fc9f954c63f0be3f6929641521acc#wechat_redirect
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70]: /images/20221014/b06aff1db4bc41f688975d47d1a5d854.png
[http_mp.weixin.qq.com_s_biz_MzI2NDY1MTA3OQ_3D_3D_chksm_eaa822f1dddfabe76645591a68d67e875fd2fe71a027b5de35d139257a3e0b0129a6c552a42f_idx_1_mid_2247486169_scene_21_sn_3b3bcc332b8589fd5ff9a7b60a780ac4_wechat_redirect]: http://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ%3D%3D&chksm=eaa822f1dddfabe76645591a68d67e875fd2fe71a027b5de35d139257a3e0b0129a6c552a42f&idx=1&mid=2247486169&scene=21&sn=3b3bcc332b8589fd5ff9a7b60a780ac4#wechat_redirect
[http_mp.weixin.qq.com_s_biz_MzI2NDY1MTA3OQ_3D_3D_chksm_eaa82ca2dddfa5b4ef36ad43146c130750f551fcf15cab88a439fc292f5d184992964c44c8c0_idx_1_mid_2247484554_scene_21_sn_ed691dbd91966cb0f9da4efff0e9d79e_wechat_redirect]: http://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ%3D%3D&chksm=eaa82ca2dddfa5b4ef36ad43146c130750f551fcf15cab88a439fc292f5d184992964c44c8c0&idx=1&mid=2247484554&scene=21&sn=ed691dbd91966cb0f9da4efff0e9d79e#wechat_redirect
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 1]: /images/20221014/0afec6a916a4461d8f91fd97f4bdff02.png
[http_mp.weixin.qq.com_s_biz_MzI2NDY1MTA3OQ_3D_3D_chksm_eaa82a81dddfa397199a279a8665f9537ce7f6e49c9b3b09ff6a70d03303144d06f0399b778e_idx_1_mid_2247484073_scene_21_sn_bca9f04059d62709d2a3d5a18c270585_wechat_redirect]: http://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ%3D%3D&chksm=eaa82a81dddfa397199a279a8665f9537ce7f6e49c9b3b09ff6a70d03303144d06f0399b778e&idx=1&mid=2247484073&scene=21&sn=bca9f04059d62709d2a3d5a18c270585#wechat_redirect
[http_mp.weixin.qq.com_s_biz_MzI2NDY1MTA3OQ_3D_3D_chksm_eaa821bedddfa8a8d56fdb12e478291f5df26c93fd5338e22ffb46579da8c73015fcc08ada5e_idx_1_mid_2247485846_scene_21_sn_e5bd6cfd06f69c437e011670d8b6aab0_wechat_redirect]: http://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ%3D%3D&chksm=eaa821bedddfa8a8d56fdb12e478291f5df26c93fd5338e22ffb46579da8c73015fcc08ada5e&idx=1&mid=2247485846&scene=21&sn=e5bd6cfd06f69c437e011670d8b6aab0#wechat_redirect
[http_mp.weixin.qq.com_s_biz_MzI2NDY1MTA3OQ_3D_3D_chksm_eaa82c44dddfa5521a911b310a1919c4fc349df46348f57d8876f6e4a10049d23c7f58e3f810_idx_1_mid_2247484524_scene_21_sn_8dea7970f351f5f9aa3534ef2f007cb1_wechat_redirect]: http://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ%3D%3D&chksm=eaa82c44dddfa5521a911b310a1919c4fc349df46348f57d8876f6e4a10049d23c7f58e3f810&idx=1&mid=2247484524&scene=21&sn=8dea7970f351f5f9aa3534ef2f007cb1#wechat_redirect
[http_mp.weixin.qq.com_s_biz_MzI2NDY1MTA3OQ_3D_3D_chksm_eaa82b65dddfa273a5c060cbbf2db340f7841fe90c0273018c12be29cb6c4f2612efa9253b01_idx_1_mid_2247484237_scene_21_sn_9a7a79680d413d4fd0c104b85b507fe1_wechat_redirect]: http://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ%3D%3D&chksm=eaa82b65dddfa273a5c060cbbf2db340f7841fe90c0273018c12be29cb6c4f2612efa9253b01&idx=1&mid=2247484237&scene=21&sn=9a7a79680d413d4fd0c104b85b507fe1#wechat_redirect