elasticsearch5.x系列之八冷热数据分离方案，发糖了

怼烎@ 2022-05-15 11:51 263阅读 0赞

Elasticsearch 集群一个比较突出的问题是: 用户做一次大的查询的时候, 非常大量的读 IO 以及聚合计算导致机器 Load 升高, CPU 使用率上升, 会影响阻塞到新数据的写入, 这个过程甚至会持续几分钟。所以，可能需要仿照 MySQL 集群一样，做读写分离。

实施方案  
N 台机器做热数据的存储, 上面只放当天的数据。这 N 台热数据节点上面的 elasticsearc.yml 中配置 node.attr.tag: hot  
之前的数据放在另外的 M 台机器上。这 M 台冷数据节点中配置 node.attr.tag: stale  
模板中控制对新建索引添加 hot 标签：

{
        "order" : 0,
        "template" : "*",
        "settings" : { "index.routing.allocation.include.tag" : "hot" } }

每天计划任务更新索引的配置, 将 tag 更改为 stale, 索引会自动迁移到 M 台冷数据节点

curl -XPUT http://127.0.0.1:9200/indexname/_settings -d'
    {
       "index": {
          "routing": {
             "allocation": {
                "include": {
                   "tag": "stale"
                }
             }
         }
       }
    }'

这样，写操作集中在 N 台热数据节点上，大范围的读操作集中在 M 台冷数据节点上。避免了堵塞影响。

该方案运用的，是 Elasticsearch 中的 allocation filter 功能，详细说明见：[https://www.elastic.co/guide/en/elasticsearch/reference/master/shard-allocation-filtering.html][https_www.elastic.co_guide_en_elasticsearch_reference_master_shard-allocation-filtering.html]

[https_www.elastic.co_guide_en_elasticsearch_reference_master_shard-allocation-filtering.html]: https://www.elastic.co/guide/en/elasticsearch/reference/master/shard-allocation-filtering.html