elasticsearch7相关的知识及kibana操作整理

Love The Way You Lie 2023-01-03 04:26 164阅读 0赞

## 官方文档：7.10 ：[https://www.elastic.co/guide/en/elasticsearch/reference/7.10/getting-started.html][https_www.elastic.co_guide_en_elasticsearch_reference_7.10_getting-started.html] ##

以下内容为学习工作汇总，关键问题的汇总。

## 创建索引并设置分片数 ##

参照：[https://blog.csdn.net/qq\_38486203/article/details/80077844][https_blog.csdn.net_qq_38486203_article_details_80077844]

创建 IndexName 索引时候，在 Mapping 中可以如下设置分片 (curl)

PUT indexName
    {
       "settings" : {
          "number_of_shards" : 3,
          "number_of_replicas" : 1
       }
    }

> 注意
> 
> **索引建立后，分片个数是不可以更改的**
> 
>  
> 
> **建议：（仅参考）**
> 
> **   1、每一个分片数据文件小于30GB**
> 
> **   2、每一个索引中的一个分片对应一个节点**
> 
> **   3、节点数大于等于分片数**
> 
> **根据建议，至少需要 10 个分片。**
> 
> **结果： 建10个节点 (Node)，Mapping 指定分片数为 10，满足每一个节点一个分片，每一个分片数据小于30G左右。**

## 创建索引及mapping ##

mapping部分可以不写，只写PUT /my-index-000001创建索引，等数据插入的时候es会自动匹配数据类型来创建mapping。

mapping 部分可以参考：[https://www.jianshu.com/p/f1e5f0fde294][https_www.jianshu.com_p_f1e5f0fde294]

PUT /my-index-000001
    {
      "mappings": {
        "properties": {
          "age":    { "type": "integer" },  
          "email":  { "type": "keyword"  }, 
          "name":   { "type": "text"  }     
        }
      }
    }

## refresh API ##

es索引有个刷新频率的概念，默认貌似1s一次我们可以根据需要来设置，如果批量倒数期间可以设置长点或者关闭

自动刷新并设置刷新间隔

*注意：一个绝对值 1 表示的是 1毫秒 --无疑会使你的集群陷入瘫痪。*

#设置自动刷新60s
    PUT /test-logstash-index-tank/_settings
    { 
      "refresh_interval": "60s" 
    }

关闭自动刷新

PUT /test-logstash-index-tank/_settings
    { 
        "refresh_interval": -1 
    }

手动刷新:

//刷新（Refresh）所有的索引。
    POST /_refresh 
    //只刷新（Refresh） test-logstash-index-tank索引
    POST /test-logstash-index-tank/_refresh

## 中文文档推荐 ##

大侠总是有，我们无需重复劳动了，参考文档，感谢一下两位大侠慷慨之作

简单搜索语法：[https://learnku.com/docs/elasticsearch73/7.3/start-searching/6451][https_learnku.com_docs_elasticsearch73_7.3_start-searching_6451]

各种聚合：[https://learnku.com/docs/elasticsearch73/7.3/article-11/6889][https_learnku.com_docs_elasticsearch73_7.3_article-11_6889]

es权威指南中文翻译版：[https://blog.didispace.com/books/elasticsearch-definitive-guide-cn/][https_blog.didispace.com_books_elasticsearch-definitive-guide-cn]

## es状态码记录 ##

### 409 ###

1、es乐观锁--乐观并发控制

{
      "error" : "VersionConflictEngineException[[website][2] [blog][1]:
                 version conflict, current [2], provided [1]]",
      "status" : 409
    }

参考：[https://blog.didispace.com/books/elasticsearch-definitive-guide-cn/030\_Data/40\_Version\_control.html][https_blog.didispace.com_books_elasticsearch-definitive-guide-cn_030_Data_40_Version_control.html]

es中所有更新和删除文档的请求都接受`version`参数，它可以允许在你的代码中增加乐观锁控制。

当我们制定的版本低于当前版本时，es会报以上错误，告诉我们已经有人更新了数据，建议我们先看一查最新数据后在修改。

### 429 ###

1、Elasticsearch status 429 "es\_rejected\_execution\_exception"

当 Elasticsearch 集群收到大量请求且无法再接收任何请求时，通常会发生“es\_rejected\_execution\_exception”异常。每个节点都有一个[线程池][Link 1]队列，可以容纳 50 到 200 个请求，具体取决于您使用的 [Elasticsearch 版本][Elasticsearch]。队列已满时，将拒绝新请求。

参考：[https://blog.csdn.net/hyx216/article/details/90179300][https_blog.csdn.net_hyx216_article_details_90179300]

[https_www.elastic.co_guide_en_elasticsearch_reference_7.10_getting-started.html]: https://www.elastic.co/guide/en/elasticsearch/reference/7.10/getting-started.html
[https_blog.csdn.net_qq_38486203_article_details_80077844]: https://blog.csdn.net/qq_38486203/article/details/80077844
[https_www.jianshu.com_p_f1e5f0fde294]: https://www.jianshu.com/p/f1e5f0fde294
[https_learnku.com_docs_elasticsearch73_7.3_start-searching_6451]: https://learnku.com/docs/elasticsearch73/7.3/start-searching/6451
[https_learnku.com_docs_elasticsearch73_7.3_article-11_6889]: https://learnku.com/docs/elasticsearch73/7.3/article-11/6889
[https_blog.didispace.com_books_elasticsearch-definitive-guide-cn]: https://blog.didispace.com/books/elasticsearch-definitive-guide-cn/
[https_blog.didispace.com_books_elasticsearch-definitive-guide-cn_030_Data_40_Version_control.html]: https://blog.didispace.com/books/elasticsearch-definitive-guide-cn/030_Data/40_Version_control.html
[Link 1]: https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-threadpool.html
[Elasticsearch]: https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/what-is-amazon-elasticsearch-service.html#aes-choosing-version
[https_blog.csdn.net_hyx216_article_details_90179300]: https://blog.csdn.net/hyx216/article/details/90179300