三个方案解决Elasticsearch深度翻页问题

深藏阁楼爱情的钟 2023-02-15 03:50 30阅读 0赞

![format_png][]

点击上方蓝字，关注我们

![format_png 1][]

![format_png 2][]

> 使用ES做搜索引擎拉取数据的时候，如果数据量太大，通过传统的from + size的方式并不能获取所有的数据（默认最大记录数10000），因为随着页数的增加，会消耗大量的内存，导致ES集群不稳定。

ES提供了3中解决深度翻页的操作，分别是scroll、sliced scroll 和 search after。

####     ####

##  ##

scroll

scroll api提供了一个全局深度翻页的操作，  首次请求会返回一个scroll\_id，使用该scroll\_id可以顺序获取下一批次的数据；

scroll 请求不能用来做用户端的实时请求，只能用来做线下大量数据的翻页处理，例如数据的导出、迁移和\_reindex操作，还有同一个scroll\_id无法并行处理数据，所以处理完全部的数据执行时间会稍长一些。

*  例如我们使用scroll翻页获取包含elasticsearch的Twitter，那么首次请求的语句如下：

POST /twitter/_search?scroll=1m {
        "size": 100,
        "query": {
            "match" : {
                "title" : "elasticsearch"
            }
        }
    }

其中scroll=1m是指scroll\_id保留上下文的时间

*  首次请求会返回一个scroll\_id，我们根据这个值去不断拉取下一页直至没有结果返回：

POST /_search/scroll{
        "scroll" : "1m",
        "scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ=="
    }

针对scroll api下，同一个scroll\_id无法并行处理数据的问题，es又推出了sliced scroll，与scroll api的区别是sliced scroll可以通过切片的方式指定多scroll并行处理。

####     ####

##  ##

sliced scroll

sliced scroll api 除指定上下文保留时间外，还需要指定最大切片和当前切片，最大切片数据一般和shard数一致或者小于shard数，每个切片的scroll操作和scroll api的操作是一致的：

GET /twitter/_search?scroll=1m
    
    
    {
        "slice": {
            "id": 0,
            "max": 2
        },
        "query": {
            "match" : {
                "title" : "elasticsearch"
            }
        }
    }
    GET /twitter/_search?scroll=1m
    {
        "slice": {
            "id": 1,
            "max": 2
        },
        "query": {
            "match" : {
                "title" : "elasticsearch"
            }
        }
    }

因为支持并行处理，执行时间要比scroll快很多。

####     ####

##  ##

search after

上面两种翻页的方式都无法支撑用户在线高并发操作，search\_after提供了一种动态指针的方案，即基于上一页排序值检索下一页实现动态分页：

*  首次查询

GET twitter/_search{
        "size": 10,
        "query": {
            "match" : {
                "title" : "elasticsearch"
            }
        },
        "sort": [
            {"date": "asc"},
            {"tie_breaker_id": "asc"}
        ]
    }

因为是动态指针，所以不需要像scroll api那样指定上下文保留时间了

*  通过上一页返回的date + tie\_breaker\_id最后一个值做为这一页的search\_after:

GET twitter/_search{
        "size": 10,
        "query": {
            "match" : {
                "title" : "elasticsearch"
            }
        },
        "search_after": [1463538857, "654323"],
        "sort": [
            {"_score": "desc"},
            {"tie_breaker_id": "asc"}
        ]
    }

说白了 search\_after 并没有解决随机跳页查询的场景，但是可以支撑多query并发请求；search\_after 操作需要指定一个支持排序且值唯一的字段用来做下一页拉取的指针，这种翻页方式也可以通过bool查询的range filter实现。

![format_png 3][]

[大数据批处理框架Spring Batch全面解析][Spring Batch]

[大型系统的发布部署方案（图文）][Link 1]

[分布式系统中Redis为什么那么重要？][Redis]

[彻底搞清分库分表（垂直分库，垂直分表，水平分库，水平分表）][Link 2]

[小白也能学会的RAID磁盘冗余阵列教程][RAID]

![format_png 4][]

欢迎分享转发，有帮助的话点个“在看”

![format_png 5][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9VUzEwR2NkMHRRSER0ZTZaelhpY2xyWVVUQ1FIaWFrMGszcEtyS2ZPdW9JY2FzYVNLV2JLaWFpYnozRE55UHZVSk9yYXdodHV1aDZ2cm1oOE1XemNoZ04xSWcvNjQw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9jNmdxbWhXaWFmeW9LSGU4OWliMlBrZ0Q2eXJSUXpOUnc0MVhHUHVMUHljT095UW5maWE0QkZ5b1QybTVsSVpZZThhOUV1ZEgzQ2RvYllDcjFpYUFEWHZKakEvNjQw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy94aWNXWVRTSUN6UnRLY3UxbkpFMnZ1aFV3ZmliSzdZRzl1TU1RRVZya3k5bnRtUDZBQ2Ftcm5xczdyenh3aWNieVIwdlV3WWNOdm1xVHRhdGlibW1RcWQ2SmcvNjQw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9jMlNpYjNNcDdwT1BpY2ZvT3hEc2liamRkWUpvemVoaWNMTjlwWEJiQ1JGWXJ6VXVnUkp0M29nbFBjSW1IbTliMk93SlppYlpsT2ljRjRMSGw0bmVhQmJrY1ZZZy82NDA?x-oss-process=image/format,png
[Spring Batch]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f6d5cb337fc3a1a595dd5617486e10f4a646580aba6aaec0f5e560a62484b2c2606f58a7&idx=1&mid=2247484396&scene=21&sn=fbb0c495a29103f7a56dd1318947fb9d#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f6d1cb337fc72ee5a2202c8a559eec12e44f167db6c45919f16aeac1b6c085bf1531c930&idx=1&mid=2247484392&scene=21&sn=4ecf420faf3fad5778bac5ed11c9dc5e#wechat_redirect
[Redis]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f6dbcb337fcdd56552b6a500167f1ac3d49e4d61028a10b223f3b6ce21a378e4415c688a&idx=1&mid=2247484386&scene=21&sn=73e58f95078cd8f93ab315c4c78d05a1#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f6e2cb337ff47a54d15bdb0b4c8711319e26ad4db1a7d3e30c8c8bcc0b6a504f6bfca7c5&idx=1&mid=2247484379&scene=21&sn=4964f64ad5b6a5d024ead17cb518262f#wechat_redirect
[RAID]: https://blog.csdn.net/u012811805/article/details/105347148
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnZ6aGRLck1pY1NQSWliZzhQRWJPa2E4bmpjOHJFZmFLa09YTHAyd21wckxpY0JRaWNYMWlhdVFzWEdTTDlpYXhreFZTb3RQQ2F2U2hva1NvVHcvNjQw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi94aWNXWVRTSUN6UnNKRmliZXRqdzJEblVBaG1VQkdrRWF0QXZlMkYxMEtuQjlTVnZzd01lRGxMVzUyY1d3RWljTmoyRU84bG9YQTZMcEhRbTQ5NFdCZUt1US82NDA?x-oss-process=image/format,png