ES修改集群最大分片数量max_shards_per_node

拼搏现实的明天。 2023-01-22 14:55 6阅读 0赞

> ### 推荐阅读 ###
> 
> ##### Helm3（K8S 资源对象管理工具）视频教程：[https://edu.csdn.net/course/detail/32506][https_edu.csdn.net_course_detail_32506] #####
> 
> ##### Helm3（K8S 资源对象管理工具）博客专栏：[https://blog.csdn.net/xzk9381/category\_10895812.html][https_blog.csdn.net_xzk9381_category_10895812.html] #####

> [本文原文链接：https://blog.csdn.net/xzk9381/article/details/117075217，转载请注明出处。如有发现文章中的任何问题，欢迎评论区留言。][https_blog.csdn.net_xzk9381_article_details_117075217]

今天在查看 skywalking-oap 服务时，发现日志中出现了大量的报错信息，内容如下：

[967]: index [skywalking-test_segment-20210520], type [_doc], id 
    [2bac9570f91e4c468c76f853c8c3adc6.142.16214811300613334], message 
    [ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=Validation Failed: 
    1: this action would add [5] total shards, but this cluster currently has [2999]/[3000] maximum shards open;]]]

报错的信息中表明用于存储 skywalking 数据的 ES 7 集群由于设置的总分片数量是 3000，当前已经存在 2999 个分片，然而当前新建的索引需要添加 5 个分片，超出了限制，所以索引创建失败。

首先说一下这个当前总分片数量 3000 是怎么来的。ES 7 集群中默认为每个 Node 节点最大 1000 个分片，我当前的集群有三个节点，所以总量为 3000。

解决这个问题的办法就是修改集群分片数量设置的参数：`cluster.max_shards_per_node`。可以调用如下 ES 集群接口来进行设置：

curl -X PUT "localhost:9200/_cluster/settings?pretty" -H 'Content-Type: application/json' -d '
    { 
      "persistent" : { 
        "cluster" : { 
          "max_shards_per_node" : "5000"
        }
      }
    }'

查看当前的设置是否生效：

$ curl "localhost:9200/_cluster/settings?pretty"
    { 
      "persistent" : { 
        "cluster" : { 
          "max_shards_per_node" : "5000"
        }
      },
      "transient" : {  }
    }

设置完成后再次查看 skywalking-oap 的日志，可以发现数据已经正常写入。

需要注意的是，我们这里是在 `persistent` 中设置的参数。ES 集群的 setting 配置中包含两种类型：

*  **persistent**：永久生效的配置项
 *  **transient**：临时生效的配置项，集群重启就会失效

[https_edu.csdn.net_course_detail_32506]: https://edu.csdn.net/course/detail/32506
[https_blog.csdn.net_xzk9381_category_10895812.html]: https://blog.csdn.net/xzk9381/category_10895812.html
[https_blog.csdn.net_xzk9381_article_details_117075217]: https://blog.csdn.net/xzk9381/article/details/117075217