Elasticsearch5.X进行聚合操作时提示Fielddata is disabled on text fields by default

淩亂°似流年 2022-06-06 12:54 67阅读 0赞

**Elasticsearch5.X聚合操作异常：**Fielddata is disabled on text fields by default. Set fielddata=true on \[color\] in order to load

fielddata in memory by uninverting the inverted index. Note that this can however use significant memory.

Fielddata默认情况下禁用文本字段，因为Fielddata可以消耗大量的堆空间，特别是在加载高基数text字段时。一旦fielddata被加载到堆中，它将在该段的生命周期中保持在那里。此外，加载fielddata是一个昂贵的过程，可以导致用户体验延迟命中。处理以上bug可以参考如下方式：

1、可以使用使用该my\_field.keyword字段进行聚合，排序或脚本

2、启用fielddata（不建议使用）

### Fielddata说明 ###

大多数字段默认为[索引][Link 1]，这使得他们可以搜索。但是，排序，聚合和访问脚本中的字段值需要与搜索不同的访问模式。

搜索需要回答这个问题：“哪些文件包含这个术语？” ，而排序和聚合需要回答一个不同的问题：“ 这个文档对这个文档有什么价值？” 。

大多数字段可以使用索引时间，磁盘上[`doc_values`][doc_values]的这种数据访问模式，但[`text`][text]字段不支持`doc_values`。

相反，`text`字段使用名为“查询时内存”的数据结构 `fielddata`。这种数据结构是在第一次使用字段用于聚合，排序或脚本时构建的。它是通过从磁盘读取每个段的全部倒排索引来构建的，反转术语↔︎文档关系，并将结果存储在内存中，存储在JVM堆中。

### Fielddata在`text`默认[编辑的][Link 2]字段上被禁用 ###

Fielddata可以消耗大量的堆空间，特别是在加载高基数`text`字段时。一旦fielddata被加载到堆中，它将在该段的生命周期中保持在那里。此外，加载fielddata是一个昂贵的过程，可以导致用户体验延迟命中。这就是为什么fielddata默认是禁用的。

如果您尝试对`text` 字段上的脚本进行排序，聚合或访问值，则会看到以下异常：

> Fielddata默认情况下禁用文本字段。`fielddata=true`在\[ `your_field_name`\] 上设置，以便通过取消倒置索引来加载内存中的fielddata。请注意，这可以使用大量的内存。

### 在启用fielddata [编辑][Link 2]之前 ###

在启用fielddata之前，请考虑为什么要使用`text`字段进行聚合，排序或在脚本中。这样做通常没有意义。

在索引之前分析文本字段，以便`New York`通过搜索`new`或搜索可以找到类似的值 `york`。`terms` 这个字段上的聚合将返回一个`new`桶和一个`york`桶，当你可能想要一个桶调用`New York`。

相反，您应该有一个`text`用于全文搜索的字段，以及一个 启用了聚合的未分析[`keyword`][keyword]字段[`doc_values`][doc_values]，如下所示：

PUT my_index 
    { 
      “mappings”：{ 
        “my_type”：{ 
          “properties”：{ 
            “my_field”：{
         
              “type”：“text”，
              “fields”：{ 
                “keyword”：{
         
                  “type”：“keyword” 
                } 
              } 
            } 
          } 
        } 
      } 
    }

[在控制台中][Link 3]复制为CURL  [视图][Link 3]

<table style="border-collapse:collapse; border-spacing:0px; background-color:transparent; line-height:26px; color:rgb(68,68,68); font-size:15px; margin-bottom:1em; border:none; width:750px"> 
 <tbody style="line-height:26px; vertical-align:top"> 
 <tr style="line-height:26px"> 
 <td align="left" style="padding:0.75em 0.2em 0px; line-height:26px; font-size:15px; vertical-align:top; border-top:none; border-right:none; border-left:none; border-bottom:1px solid rgb(229,234,228)"> <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html#CO230-1" style="background-color:transparent; color:rgb(0,169,229); outline:none" rel="nofollow"><img src="https://www.elastic.co/guide/en/elasticsearch/reference/current/images/icons/callouts/1.png" alt="" style="border:0px; vertical-align:middle"></a> </td> 
 <td align="left" style="padding:0.75em 0px 0px 0.2em; line-height:26px; font-size:15px; vertical-align:top; border-top:none; border-right:none; border-left:none; border-bottom:1px solid rgb(229,234,228)"> 使用该<code style="font-family:Consolas,Menlo,&quot;DejaVu Sans Mono&quot;,&quot;Bitstream Vera Sans Mono&quot;,&quot;Lucida Console&quot;; font-size:0.9em; padding:0px 3px; color:rgb(85,85,85); background:rgb(248,248,248); display:inline; word-wrap:break-word; width:auto; overflow-x:auto; vertical-align:middle">my_field</code>字段进行搜索。 </td> 
 </tr> 
 <tr style="line-height:26px"> 
 <td align="left" style="padding:0.75em 0.2em 0px; line-height:26px; font-size:15px; vertical-align:top; border:none"> <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html#CO230-2" style="background-color:transparent; color:rgb(0,169,229); outline:none" rel="nofollow"><img src="https://www.elastic.co/guide/en/elasticsearch/reference/current/images/icons/callouts/2.png" alt="" style="border:0px; vertical-align:middle"></a> </td> 
 <td align="left" style="padding:0.75em 0px 0px 0.2em; line-height:26px; font-size:15px; vertical-align:top; border:none"> 使用该<code style="font-family:Consolas,Menlo,&quot;DejaVu Sans Mono&quot;,&quot;Bitstream Vera Sans Mono&quot;,&quot;Lucida Console&quot;; font-size:0.9em; padding:0px 3px; color:rgb(85,85,85); background:rgb(248,248,248); display:inline; word-wrap:break-word; width:auto; overflow-x:auto; vertical-align:middle">my_field.keyword</code>字段进行聚合，排序或脚本。 </td> 
 </tr> 
 </tbody> 
</table>

### 在`text`字段上启用fielddata[编辑][Link 2] ###

您可以`text`使用[PUT映射API][PUT_API]在现有字段 上启用fielddata ，如下所示：

PUT my_index / _mapping / my_type 
    { 
      “properties”：{ 
        “my_field”：{
         
          “type”：“text”，
          “fielddata”：true 
        } 
      } 
    }

![小费][tip.png]

该`fielddata.*`参数必须在同一指数的同名字段相同的设置。其值可以使用[PUT映射API][PUT_API]在现有字段上更新。

**Java代码实现**：

String index = "cars";
    String type = "transactions";
    SearchRequestBuilder searchRequestBuilder = client.prepareSearch(index).setTypes(type);
    TermsAggregationBuilder field = AggregationBuilders.terms("popular_colors").field("color.keyword");
    searchRequestBuilder.addAggregation(field);
    searchRequestBuilder.setSize(0);
    SearchResponse searchResponse = searchRequestBuilder.execute().actionGet();
    System.out.println(searchResponse.toString());

参考地址： [https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html\#field-data-filtering][https_www.elastic.co_guide_en_elasticsearch_reference_current_fielddata.html_field-data-filtering]

[Link 1]: https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-index.html
[doc_values]: https://www.elastic.co/guide/en/elasticsearch/reference/current/doc-values.html
[text]: https://www.elastic.co/guide/en/elasticsearch/reference/current/text.html
[Link 2]: https://github.com/elastic/elasticsearch/edit/5.6/docs/reference/mapping/params/fielddata.asciidoc
[keyword]: https://www.elastic.co/guide/en/elasticsearch/reference/current/keyword.html
[Link 3]: http://localhost:5601/app/kibana#/dev_tools/console?load_from=https://www.elastic.co/guide/en/elasticsearch/reference/current/snippets/fielddata/1.json
[PUT_API]: https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-put-mapping.html
[tip.png]: https://www.elastic.co/guide/en/elasticsearch/reference/current/images/icons/tip.png
[https_www.elastic.co_guide_en_elasticsearch_reference_current_fielddata.html_field-data-filtering]: https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html#field-data-filtering