ElasticSearch-重建索引两种方法

╰半夏微凉° 2021-11-22 22:46 815阅读 0赞

### null\_value ###

https://blog.csdn.net/alex\_xfboy/article/details/88416098

一个null值不能被索引或搜索。当字段设置为null（或空数组或null值数组）时，它被视为该字段没有值。

null\_value参数允许您用指定的值替换显式空值，以便对其进行索引和搜索。例如:

PUT my_index
    { 
      "mappings": { 
        "my_type": { 
          "properties": { 
            "status_code": { 
              "type":       "keyword",
              "null_value": "NULL"      用null术语替换显式值NULL。
            }
          }
        }
      }
    }

该null\_value需求是相同的数据类型字段。例如，long字段不能包含字符串null\_value。

PUT my_index/_doc/1
    { 
      "status_code": null
    }
    
    PUT my_index/_doc/2
    { 
      "status_code": [] 
    }
    
    获取my_index / _search 
    {  
      “query”：{  
        “term”：{  
          “status_code”：“NULL”
        } 
      } 
    }
    	
    NULL返回文档1的查询，但不是文档2。

### \_update\_by\_query 根据查询条件,es新增字段，并设置默认值 ###

在ES里为已有索引增加一个新字段以后，老的数据并不会自动就拥有了这个新字段，也就不可能给他一个所谓的默认值。ES里的数据都是文档型的，修改一个文档只能是对原文档做更新，也就是只能借助于重新索引的手段。

curl  -H "Content-Type:application/json" -XPOST http://10.9.*.*:9200/index_name/type_name/_update_by_query?pretty -d'
    { 
     "script": { 
        "source": "ctx._source.accountLoginName=\"value_name\""
      },
      "query": { 
        "term": { 
          "enterpriseId": "******"
        }
      }
    }'

就可以为新添加的字段设置默认值。  
如果不加conflicts=proceed会出现版本冲突

POST twitter/_update_by_query?conflicts=proceed

或者可以带条件：

{ 
        "script": { 
        "inline": "ctx._source.camera_dev_conn_status='在线'"
      },
      "query": { 
        "match_phrase": { 
          "camera_sbzt": "在用"
        }
      }
    }

[更多用法][Link 1]

### 重新索引 ###

#### 游标查出,bluk更新 ####

[重建索引][Link 2]

#### reindex ####

当数据的mapping需要修改，但是大量的数据已经导入到索引中了，重新导入数据到新的索引太耗时；但是在ES中，一个字段的mapping在定义并且导入数据之后是不能再修改的，  
所以这种情况下也可以考虑尝试使用Reindex。实测速度大概是bulk导入数据的5-10倍。

POST _reindex
    { 
      "source": { 
        "index": "old_index"
      },
      "dest": { 
        "index": "new_index"
      }
    }
    
    curl _XPOST 'localhost:9200/_reindex' -d '{"source":{"index":"old_index"},"dest":{"index":"new_index"}}'

> 但是,当我们发现我们需要迁移的数据量过大时，我们会发现reindex的速度会变得很慢  
> 原因分析：  
> reindex的核心做跨索引、跨集群的数据迁移。  
> 慢的原因及优化思路无非包括：  
> 1）批量大小值可能太小。需要结合堆内存、线程池调整大小；  
> 2）reindex的底层是scroll实现，借助scroll并行优化方式，提升效率；  
> 3）跨索引、跨集群的核心是写入数据，考虑写入优化角度提升效率。

可行方案：

1）提升批量写入大小值  
默认情况下，\_reindex使用1000进行批量操作，您可以在source中调整batch\_size。

POST _reindex
    { 
      "source": { 
        "index": "source",
        "size": 5000
      },
      "dest": { 
        "index": "dest",
        "routing": "=cat"
      }
    }

[原文参考][Link 3]  
再优化

POST _reindex?slices=5&refresh
    { 
      "source": { 
        "index": "twitter"
      },
      "dest": { 
        "index": "new_twitter"
      }
    }

[Link 1]: https://blog.csdn.net/gui66497/article/details/81389037
[Link 2]: https://blog.csdn.net/loveyaqin1990/article/details/77684599
[Link 3]: https://www.cnblogs.com/Ace-suiyuan008/p/9985249.html