Elasticsearch的filter的caching（缓存）机制详解

- 日理万妓 2023-02-21 12:25 30阅读 0赞

编程界的小学生 2017-12-27 07:50:54

**直接举例说明**

1.假设现在要在倒排索引中去搜索字符串（xxx）

比如如下有个倒排索引列表：

![Elasticsearch的filter的caching（缓存）机制详解][Elasticsearch_filter_caching]

我现在要搜索：2017-02-02

去倒排索引中找，发现对应的document list是doc2和doc3

2.为每个在倒排索引中搜索到的结果，构建一个bitset

使我们找到的doc list构建一个bitset，就是一个二进制数组，数组每个元素都是0或1。用来标识一个doc对一个filter条件是否匹配，如果匹配就是1，不匹配就是0

\[0,1,1\]

doc1：不匹配这个filter的

doc2和doc3：匹配这个filter的

尽可能用简单的数据结构去实现复杂的功能，可以节省内存空间，提升性能

3.遍历每个过滤条件对应的bitset，优先从最稀疏的开始搜索，查找满足所有条件的document

一次性其实可以在一个search请求中，发出多个filter条件，每个filter条件都会对应一个bitsite，遍历每个filter条件对应的bitset，先从最稀疏的开始遍历

\[0, 0, 0, 1, 0, 0\]：比较稀疏

\[0, 1, 0, 1, 0, 1\]

先遍历比较稀疏的bitset，就可以先过滤掉尽可能多的数据

遍历所有的bitset，找到匹配所有filter条件的doc

请求：filter，postDate=2017-01-01，userID=1

postDate: \[0, 0, 1, 1, 0, 0\]

userID: \[0, 1, 0, 1, 0, 1\]

遍历完两个bitset之后，找到的匹配所有条件的doc。就是doc4，就可以将doc4作为结果返回给client了

4.caching bitset

跟踪query，在最近256个query中超过一定次数的过滤条件，缓存其bitset。对于小segment（<1000，或<3%），不缓存bitset。

比如postDate=2017-01-01, \[0,0,1,1,0,0\]，可以缓存在内存中，这样下次如果再有这个条件过来的时候，就不用重新扫描倒排索引，不用反复生成bitset，可以大幅度提升性能。

在最近的256个filter中，有某个filter超过了一定的次数，次数不固定，就会自动缓存这个filter对应的bitset

lter针对小segment获取到的结果，可以不缓存，segment记录数<1000，或者segment大小<index总大小的3%

segment数据量很小，此时哪怕是扫描也很快；segment会在后台自动合并，小segment很快就会跟其他小segment合并成大segment，此时就缓存也没有什么意义，segment很快就消失了

针对一个小segment的bitset，\[0, 0, 1, 0\]

filter比query的好处就在于会caching，但是之前不知道caching的是什么东西，实际上并不是一个filter返回的完整的doc list数据结果。而是filter bitset缓存起来。下次不用扫描倒排索引了。

5. filter大部分情况下来说，在query之前执行，先尽量过滤掉尽可能多的数据

query：是会计算doc对搜索条件的relevance score，还会根据这个score去排序

filter：只是简单过滤出想要的数据，不计算relevance score，也不排序

6. 如果document有新增或修改，那么cached bitset会被自动更新

postDate=2017-01-01，\[0, 0, 1, 0\]

document，id=5，postDate=2017-01-01，会自动更新到postDate=2017-01-01这个filter的bitset中，全自动，缓存会自动更新。postDate=2017-01-01的bitset，\[0, 0, 1, 0, 1\]

document，id=1，postDate=2016-12-30，修改为postDate-2017-01-01，此时也会自动更新bitset，\[1, 0, 1, 0, 1\]

7. 以后只要是有相同的filter条件的，会直接来使用这个过滤条件对应的cached bitset

[Elasticsearch_filter_caching]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLXR0LmJ5dGVpbWcuY29tL2xhcmdlLzUwYTkwMDA1OWIyOWRjNGYzMjJh?x-oss-process=image/format,png

发表评论取消回复

表情：

评论列表（有 0 条评论，30人围观）

还没有评论，来说两句吧...

相关阅读

相关 LinkedHashMap实现LRU缓存cache机制，Kotlin

LinkedHashMap实现LRU缓存cache机制，Kotlin LinkedHashMap的accessOrder=true后，访问LinkedHashMa

小咪咪/ 2023年10月15日 14:06/ 0 赞/ 28 阅读

相关 Elasticsearch的filter的caching（缓存）机制详解

编程界的小学生 2017-12-27 07:50:54 直接举例说明 1.假设现在要在倒排索引中去搜索字符串（xxx）比如如下有个倒排索引列表： ![El

- 日理万妓/ 2023年02月21日 12:25/ 0 赞/ 31 阅读

相关 cache.php,缓存 - Cache

缓存配置缓存用法递增与递减缓存标签缓存事件数据库缓存配置 Laravel 为各种不同的缓存系统提供一致的 API 。缓存配置文件位在 config/cach

小咪咪/ 2023年01月15日 03:37/ 0 赞/ 236 阅读

相关 Elasticsearch 缓存机制

1. 节点查询缓存（Node Query Cache）官方文档简介查询缓存负责缓存查询的结果。每个节点有一个查询缓存，由所有分片共享。缓存执行LRU回收策略:当

迷南。/ 2023年01月02日 08:23/ 0 赞/ 440 阅读

相关 Elasticsearch搜索引擎之缓存：Request Cache

1、什么是 request cache： Request Cache，全称是 Shard Request Cache，即分片级请求缓存。当对一个或多个索引发送搜索请求时，

青旅半醒/ 2022年10月08日 02:21/ 0 赞/ 240 阅读

相关 Cache——缓存

前言：其实这是我在一本书中看到的一篇文章感觉写的挺有意思的，就谢谢自己的小感觉！缓存是什么？书中解释缓存原来指的是存放物品的场所。在当技术用语的

﹏ヽ暗。殇╰゛Y/ 2022年08月22日 13:27/ 0 赞/ 308 阅读

相关计算机缓存Cache以及Cache Line详解

1.计算机存储体系简介存储器是分层次的，离CPU越近的存储器，速度越快，每字节的成本越高，同时容量也因此越小。寄存器速度最快，离CPU最近，成本最高，所以个数容量有限，

爱被打了一巴掌/ 2022年05月23日 09:06/ 0 赞/ 317 阅读

相关 ElasticSearch教程——filter执行原理深度剖析（bitset机制与caching机制）

ElasticSearch汇总请查看：[ElasticSearch教程——汇总篇][ElasticSearch] （1）在倒排索引中查找搜索串，获取document lis

￡神魔★判官ぃ/ 2021年09月27日 16:54/ 0 赞/ 322 阅读

相关 HTTP请求的缓存（Cache）机制

先来一张图: ![1190187-20190524110635909-704898664.png][] \\\\下面简单的来描述一下HTTP Cache机制：当资

谁借莪１个温暖的怀抱￠/ 2021年09月19日 14:02/ 0 赞/ 457 阅读

相关 es filter过滤的bitset机制和caching机制

document存储数据为： PUT /forum/article/_bulk { "index": { "_id": 1 }} { "article

Myth丶恋晨/ 2021年06月22日 15:37/ 0 赞/ 420 阅读