ELK retrying failed action with response code: 403错误解决

墨蓝 2024-03-23 14:17 80阅读 0赞

> #### Logstash中报错：retrying failed action with response code:403. ####
> 
> 报错信息如下图所示。![55a93b4a4c764d05969b7a201642124a.jpeg][]

> 这是由于 ES中的索引设置成了只读模式，可能造成这样的原因是因为磁盘满了，或使用率超过95%时，Elasticsearch为了防止节点耗尽磁盘空间，保护集群不至于完全宕机，自动将索引设置为只读模式，
> 
>  此时，只能查询不能入库新数据。并且ES日志中也会报错：**nexpected error while indexing monitoring document** **org.elasticsearch.xpack.monitoring.exporter.ExportException: ClusterBlockException.**

> 这个时候，即便扩了硬盘，磁盘空间可用空间增加后，es仍然报错，问题依然存在，索引依然不能入库，是由于ES集群为了保护集群不至于完全宕机，对索引设定了只读。此时需要手动设定索引的只读状态去掉。

> 此时有两种解决方式，但作用是一样的，都是为了解除索引的只读状态。

1、在kibana中的开发者工具执行下面这条命令，将索引设置成允许写入。运行完这个命令后。我们可以查询logstash的日志看是否恢复正常。

PUT _all/_settings
    {
      "index.blocks.read_only_allow_delete": null
    }

2、在ES所在服务器执行api：

curl -XPUT -H "Content-Type: application/json" http://localhost:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

> 这个时候我们查看Logstash的日志，发现已经不会再报 retrying failed action with response code:403. 这个错误了。 问题也就解决了。

[55a93b4a4c764d05969b7a201642124a.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/e8c61f9f58964228ab625825c2deae62.png