Elasticsearch5.X进行聚合操作时提示Fielddata is disabled on text fields by default

桃扇骨 2023-06-25 03:02 4阅读 0赞

Elasticsearch5.X聚合操作异常：Fielddata is disabled on text fields by default. Set fielddata=true on \[color\] in order to load

fielddata in memory by uninverting the inverted index. Note that this can however use significant memory.

Fielddata默认情况下禁用文本字段，因为Fielddata可以消耗大量的堆空间，特别是在加载高基数text字段时。一旦fielddata被加载到堆中，它将在该段的生命周期中保持在那里。此外，加载fielddata是一个昂贵的过程，可以导致用户体验延迟命中。处理以上bug可以参考如下方式：

1、可以使用使用该my\_field.keyword字段进行聚合，排序或脚本

2、启用fielddata（不建议使用）

### Fielddata说明 ###

大多数字段默认为[索引][Link 1]，这使得他们可以搜索。但是，排序，聚合和访问脚本中的字段值需要与搜索不同的访问模式。

搜索需要回答这个问题：“哪些文件包含这个术语？” ，而排序和聚合需要回答一个不同的问题：“ 这个文档对这个文档有什么价值？” 。

大多数字段可以使用索引时间，磁盘上[`doc_values`][doc_values]的这种数据访问模式，但[`text`][text]字段不支持`doc_values`。

相反，`text`字段使用名为“查询时内存”的数据结构 `fielddata`。这种数据结构是在第一次使用字段用于聚合，排序或脚本时构建的。它是通过从磁盘读取每个段的全部倒排索引来构建的，反转术语↔︎文档关系，并将结果存储在内存中，存储在JVM堆中。

### Fielddata在`text`默认[编辑的][Link 2]字段上被禁用 ###

Fielddata可以消耗大量的堆空间，特别是在加载高基数`text`字段时。一旦fielddata被加载到堆中，它将在该段的生命周期中保持在那里。此外，加载fielddata是一个昂贵的过程，可以导致用户体验延迟命中。这就是为什么fielddata默认是禁用的。

如果您尝试对`text` 字段上的脚本进行排序，聚合或访问值，则会看到以下异常：

> Fielddata默认情况下禁用文本字段。`fielddata=true`在\[ `your_field_name`\] 上设置，以便通过取消倒置索引来加载内存中的fielddata。请注意，这可以使用大量的内存。

### 在启用fielddata [编辑][Link 2]之前 ###

在启用fielddata之前，请考虑为什么要使用`text`字段进行聚合，排序或在脚本中。这样做通常没有意义。

在索引之前分析文本字段，以便`New York`通过搜索`new`或搜索可以找到类似的值 `york`。`terms` 这个字段上的聚合将返回一个`new`桶和一个`york`桶，当你可能想要一个桶调用`New York`。

相反，您应该有一个`text`用于全文搜索的字段，以及一个 启用了聚合的未分析[`keyword`][keyword]字段[`doc_values`][doc_values]，如下所示：

PUT my_index 
    { 
      “mappings”：{ 
        “my_type”：{ 
          “properties”：{ 
            “my_field”：{
        
              “type”：“text”，
              “fields”：{ 
                “keyword”：{
        
                  “type”：“keyword” 
                } 
              } 
            } 
          } 
        } 
      } 
    }

[在控制台中][Link 3] 复制为CURL  [视图][Link 3]

<table> 
 <tbody> 
  <tr> 
   <td align="left"> <p><a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html#CO230-1" rel="nofollow"><img src="https://www.elastic.co/guide/en/elasticsearch/reference/current/images/icons/callouts/1.png" alt=""></a></p> </td> 
   <td align="left"> <p>使用该<code>my_field</code>字段进行搜索。</p> </td> 
  </tr> 
  <tr> 
   <td align="left"> <p><a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html#CO230-2" rel="nofollow"><img src="https://www.elastic.co/guide/en/elasticsearch/reference/current/images/icons/callouts/2.png" alt=""></a></p> </td> 
   <td align="left"> <p>使用该<code>my_field.keyword</code>字段进行聚合，排序或脚本。</p> </td> 
  </tr> 
 </tbody> 
</table>

### 在`text`字段上启用fielddata[编辑][Link 2] ###

您可以`text`使用[PUT映射API][PUT_API]在现有字段 上启用fielddata ，如下所示：

PUT my_index / _mapping / my_type 
    { 
      “properties”：{ 
        “my_field”：{
        
          “type”：“text”，
          “fielddata”：true 
        } 
      } 
    }

<table> 
 <tbody> 
  <tr> 
   <td align="left"> <p><a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html#CO231-1" rel="nofollow"><img src="https://www.elastic.co/guide/en/elasticsearch/reference/current/images/icons/callouts/1.png" alt=""></a></p> </td> 
   <td align="left"> <p>您指定的映射<code>my_field</code>应由该字段的现有映射以及<code>fielddata</code>参数组成。</p> </td> 
  </tr> 
 </tbody> 
</table>

![小费][tip.png]

该`fielddata.*`参数必须在同一指数的同名字段相同的设置。其值可以使用[PUT映射API][PUT_API]在现有字段上更新。

**Java代码实现**：

String index = "cars"; 
       String type = "transactions"; 
       SearchRequestBuilder searchRequestBuilder = client.prepareSearch(index).setTypes(type); 
       TermsAggregationBuilder field = AggregationBuilders.terms( "popular_colors").field( "color.keyword"); 
       searchRequestBuilder.addAggregation(field); 
       searchRequestBuilder.setSize( 0); 
       SearchResponse searchResponse = searchRequestBuilder.execute().actionGet(); 
       System.out.println(searchResponse.toString());

参考地址： [https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html\#field-data-filtering][https_www.elastic.co_guide_en_elasticsearch_reference_current_fielddata.html_field-data-filtering]

[Link 1]: https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-index.html
[doc_values]: https://www.elastic.co/guide/en/elasticsearch/reference/current/doc-values.html
[text]: https://www.elastic.co/guide/en/elasticsearch/reference/current/text.html
[Link 2]: https://github.com/elastic/elasticsearch/edit/5.6/docs/reference/mapping/params/fielddata.asciidoc
[keyword]: https://www.elastic.co/guide/en/elasticsearch/reference/current/keyword.html
[Link 3]: http://localhost:5601/app/kibana#/dev_tools/console?load_from=https://www.elastic.co/guide/en/elasticsearch/reference/current/snippets/fielddata/1.json
[PUT_API]: https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-put-mapping.html
[tip.png]: https://www.elastic.co/guide/en/elasticsearch/reference/current/images/icons/tip.png
[https_www.elastic.co_guide_en_elasticsearch_reference_current_fielddata.html_field-data-filtering]: https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html#field-data-filtering