ELK 系列十、elasticsearch索引模版设置，规划分片和副本

淩亂°似流年 2022-01-31 12:25 1568阅读 0赞

**目录**

1、索引模版设置

1.0 了解下分片和副本

1.1 新建或修改模版

1.2 删除索引模版

1.3 查询模版

2、预设置索引，设置分片和副本

--------------------

# 1、索引模版设置 #

## 1.0 了解下分片和副本 ##

分片和副本：

es中的分片share相当于关系型数据库的表分区，一般一个分片处理30g的存储数据，如果规划中有300g可分10个分片

根据建议，至少需要 10 个分片。

结果： 建10个节点 (Node)，Mapping 指定分片数为 10，满足每一个节点一个分片，每一个分片数据[带下][Link 1]在30G左右。

[**SN**][SN]**(分片数) = IS(索引大小) / 30g**

**NN(节点数) = SN(分片数) + MNN(主节点数\[无数据\]) + NNN(负载节点数)**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1MjcwMDIyMg_size_16_color_FFFFFF_t_70][]

如果你有3个节点, 则推荐你创建的分片数最多不超过9(3x3)个

副本是对分片数据进行冗余备份用的，保证数据可靠性

集群(cluster):由一个或多个节点组成, 并通过集群名称与其他集群进行区分

节点(node):单个ElasticSearch实例. 通常一个节点运行在一个隔离的容器或虚拟机中

索引(index):在ES中, 索引是一组文档的集合

分片(shard):因为ES是个分布式的搜索引擎, 所以索引通常都会分解成不同部分, 而这些分布在不同节点的数据就是分片. ES自动管理和组织分片, 并在必要的时候对分片数据进行再平衡分配, 所以用户基本上不用担心分片的处理细节，一个分片默认最大文档数量是20亿.

副本(replica):ES默认为一个索引创建5个主分片, 并分别为其创建一个副本分片. 也就是说每个索引都由5个主分片成本, 而每个主分片都相应的有一个copy.

对于分布式搜索引擎来说, 分片及副本的分配将是高可用及快速搜索响应的设计核心.主分片与副本都能处理查询请求, 它们的唯一区别在于只有主分片才能处理索引请求.

//新增索引的同时添加分片，不使用默认分片，分片的数量

//一般以（节点数\*1.5或3倍）来计算，比如有4个节点，分片数量一般是6个到12个，每个分片一般分配一个副本

PUT /testindex

"settings" : \{

"number\_of\_shards" : 12,

"number\_of\_replicas" : 1

PUT /otosaas\_qlllog-2019.04.24

"settings": \{

"number\_of\_shards" :   1,

"number\_of\_replicas" : 0

**选择合适的分片数和副本数**。ES的分片分为两种，主分片（Primary Shard）和副本（Replicas）。默认情况下，ES会为每个索引创建5个分片，即使是在单机环境下，这种冗余被称作过度分配（Over Allocation），目前看来这么做完全没有必要，仅在散布文档到分片和处理查询的过程中就增加了更多的复杂性，好在ES的优秀性能掩盖了这一点。假设一个索引由一个分片构成，那么当索引的大小超过单个节点的容量的时候，ES不能将索引分割成多份，因此必须在创建索引的时候就指定好需要的分片数量。此时我们所能做的就是创建一个新的索引，并在初始设定之中指定这个索引拥有更多的分片。反之如果过度分配，就增大了Lucene在合并分片查询结果时的复杂度，从而增大了耗时，所以我们得到了以下结论：

***我们应该使用最少的分片！***

主分片，副本和节点最大数之间数量存在以下关系：

**节点数<=主分片数\*（副本数+1）**

**控制分片分配行为。**以上是在创建每个索引的时候需要考虑的优化方法，然而在索引已创建好的前提下，是否就是没有办法从分片的角度提高了性能了呢？当然不是，首先能做的是调整分片分配器的类型，具体是在elasticsearch.yml中设置cluster.routing.allocation.type属性，共有两种分片器even\_shard,balanced（默认）。even\_shard是尽量保证每个节点都具有相同数量的分片，balanced是基于可控制的权重进行分配，相对于前一个分配器，它更暴漏了一些参数而引入调整分配过程的能力。

每次ES的分片调整都是在ES上的数据分布发生了变化的时候进行的，最有代表性的就是有新的数据节点加入了集群的时候。当然调整分片的时机并不是由某个阈值触发的，ES内置十一个裁决者来决定是否触发分片调整，这里暂不赘述。另外，这些分配部署策略都是可以在运行时更新的，更多配置分片的属性也请大家自行Google。

## 1.1 新建或修改模版 ##

在kibana界面中直接执行以下命令，创建索引模版，

index\_patterns: 新生成的索引以otosaas为开头都会自动匹配该模版

number\_of\_shards: 索引分片为1，副本默认也是1

order:优先级，数字越高等级越高

PUT /_template/template_otosaas_default
    {
      "index_patterns": ["otosaas*"],
      "order" : 0,
      "settings": {
        "number_of_shards": 1
      }
    }

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1MjcwMDIyMg_size_16_color_FFFFFF_t_70 1][]

## 1.2 删除索引模版 ##

DELETE /_template/template_1

## 1.3 查询模版 ##

支持模糊查询

GET /_template/template_1

索引模版还有很多功能，比如，可设置具体字段的类型等，mappings中设置，两种请求方式见下面

PUT /_template/template_1
    {
      "index_patterns": ["te*", "bar*"],
      "settings": {
        "number_of_shards": 1
      },
      "mappings": {
        "_doc": {
          "_source": {
            "enabled": false
          },
          "properties": {
            "host_name": {
              "type": "keyword"
            },
            "created_at": {
              "type": "date",
              "format": "EEE MMM dd HH:mm:ss Z YYYY"
            }
          }
        }
      }
    }

curl -X PUT "localhost:9200/_template/template_1" -H 'Content-Type: application/json' -d'
    {
      "index_patterns": ["te*", "bar*"],
      "settings": {
        "number_of_shards": 1
      },
      "mappings": {
        "_doc": {
          "_source": {
            "enabled": false
          },
          "properties": {
            "host_name": {
              "type": "keyword"
            },
            "created_at": {
              "type": "date",
              "format": "EEE MMM dd HH:mm:ss Z YYYY"
            }
          }
        }
      }
    }
    '

# 2、预设置索引，设置分片和副本 #

比如今天是5月16号，先建好5月17号的索引

PUT /otosaas_qlllog-2019.05.17
    {
        "settings": {
            "number_of_shards" :   1,
            "number_of_replicas" : 1
        }
    }

[Link 1]: https://www.baidu.com/s?wd=%E5%B8%A6%E4%B8%8B&tn=24004469_oem_dg&rsv_dl=gh_pl_sl_csd
[SN]: https://www.baidu.com/s?wd=SN&tn=24004469_oem_dg&rsv_dl=gh_pl_sl_csd
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1MjcwMDIyMg_size_16_color_FFFFFF_t_70]: /images/20220131/6afedd7d43c5479ea745b3adbd1ba77d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1MjcwMDIyMg_size_16_color_FFFFFF_t_70 1]: /images/20220131/c476395f07d348c8a074b23f145274c3.png