我们需要工具支持键集分页

悠悠 2023-09-25 13:52 113阅读 0赞

[我们需要工具支持键集分页 (use-the-index-luke.com)][_use-the-index-luke.com]

您是否知道分页非常麻烦但很容易避免？`offset`

`offset`指示数据库跳过查询的前 N 个结果。但是，数据库仍必须从磁盘获取这些行并按顺序排列它们，然后才能发送以下行。

这不是实现问题，而是设计的方式：`offset`

> ...行首先根据<顺序依据子句>进行排序，然后通过从一开始就删除<结果偏移子句>中指定的行数来限制......
> 
> SQL：2016， 第 2 部分， §4.15.3 派生表

这里的关键点是它只需要一个参数：要删除的行数。没有更多的上下文。数据库对此数字唯一可以做的就是获取和删除这么多行。换句话说，在数据库上投入了大量的工作——无论是SQL还是[N][][o][][S][][Q L][]。`offset``offsets`

但问题并不止于此：想想如果在获取两个页面之间插入新行会发生什么？`offset`

1仅提取前 10 行选定的行第 1 行 第 2 行 第 3 行 第 4 行 第 5 行 第 6 行7 行 8 行 9 行 10 行 11 行 12 行 13行142插入新建行3删除的行选择偏移 10 仅获取接下来的 10 行新建行

使用 ➌ 跳过以前提取的条目❶ 时，如果获取两个页面之间插入了新行，您将获得重复项➋。还有其他可能的异常，这只是最常见的异常。`offset`

这甚至不是数据库问题，而是框架实现分页的方式：它们只是说要获取哪个页码或要跳过多少行。仅凭这些信息，任何数据库都无法做得更好。

另请注意，偏移问题可能有不同的语法：

*  偏移关键字
 *  2参数限制`[偏移量，]`限制（1参数`限制`很好）
 *  基于行编号的下限过滤（例如`row_number（）`，`rownum`，...）。

所有这些方法的根本问题是，它们只提供了要删除的行数，而不再提供上下文。在本文中，我指的是这些方法中的任何一种。`offset`

### 无偏移寿命 ###

现在想象一个没有这些问题的世界。事实证明，没有它的生活非常简单：只需使用仅选择您尚未看到的数据的子句。`offset``where`

为此，我们利用了我们在有序集合上工作的事实——你确实有 anclause，不是吗？一旦有了明确的排序顺序，我们就可以使用一个简单的过滤器来只选择我们最后看到的条目后面的内容：`order by`

SELECT ...
      FROM ...
     WHERE ...
       AND id < ?last_seen_id
     ORDER BY id DESC
     FETCH FIRST 10 ROWS ONLY

这是基本配方。在多列上排序时会变得更有趣，但想法是相同的。该配方也适用于许多[N][N 1][o][o 1][S][S 1][Q L][Q L 1]系统。

这种方法（称为*查找方法*或*键集分页*）解决了如上所述的漂移结果问题，甚至比这种方法更快。如果你想知道使用or键集分页时数据库内部发生了什么，看看[这些幻灯片][Link 1]（基准，基准！）：`offset``offset`

在第[43 张幻灯片][43]上，您还可以看到键集分页有一些限制：最明显的是您无法直接导航到任意页面。但是，使用无限滚动时这不是问题。无论如何，显示要单击的页码是一个糟糕的导航界面——恕我直言。

如果您想阅读有关如何在SQL中正确实现键集分页的更多信息，请阅读[本文][Link 2]。即使您不参与 SQL，在开始实现任何内容之前也值得阅读[该文章][Link 2]。

### 但是框架... ###

首选键集分页的主要原因是缺乏工具支持。大多数工具提供基于键集分页的分页，但没有提供任何使用键集分页的便捷方法。`offset``offset`

请注意，键集分页会影响整个技术堆栈，直到在浏览器中运行的JavaScript执行AJAX无限滚动：而不是将简单的页码传递给服务器，您必须将完整的键集（通常是多列）向下传递给服务器。

支持键集分页的框架名人堂正在不断增长：

JavaScript

*  节点.js：[书架-光标-分页][-_-]
 *  [海量.js：密钥集文档][.js]

蟒

*  [Django REST 框架：游标分页][Django REST]
 *  [姜戈无限滚动分页][Link 3]
 *  [姜戈分块器][Link 4]
 *  [SQL Alchemy sqlakeyset][].

Java / JVM

*  [jOOQ — Java 面向对象的查询][jOOQ _ Java]
 *  [炽热持久性][Link 5]
 *  [斯卡拉部分结果][Link 6]

.PHP

*  [拉拉维尔 8.0+： 光标分页器][8.0_]

。网

*  [DRF 类似分页][DRF]
 *  [先生。EntityFrameworkCore.KeysetPagination][EntityFrameworkCore.KeysetPagination]

红宝石

*  [续集：：寻页][Link 7]
 *  [下一页][Link 8]
 *  [order\_query][order_query]

佩尔

*  [DBIx：：Class：：Wrapper][DBIx_Class_Wrapper]

这就是我需要你帮助的地方。如果你正在维护一个以某种方式涉及分页的框架，我请求你，我敦促你，我恳求你，也为键集分页构建本机支持。如果您对细节有任何疑问，我很乐意为您提供帮助（[论坛][Link 9]，[联系表格][Link 10]，[推特][Link 11]）！

即使您只是使用应该支持密钥集分页的软件，例如内容管理系统或网上商店，也要让维护人员知道它。您可以只提交功能请求（链接到此页面），或者，如果可能，提供补丁。同样，我很乐意帮助正确处理细节。

以[WordPress为例][WordPress]。

### 传播信息 ###

键集分页的问题不是技术问题。问题只是它在现场几乎不为人知，也没有工具支持。如果您喜欢少分页的想法，请帮助传播这个词。[推特][Link 12]它，[分享][Link 13]它，[邮寄它][Link 14]，你甚至可以重新写这篇文章（[CC-BY-NC-ND）。][CC-BY-NC-ND]也欢迎翻译，请事先与我联系 - 我也会在此页面上包含翻译的链接！`offset`

哦，如果你在写博客，你也可以在你的博客上添加一个横幅，让你的读者知道它。我准备了一个带有一些常见横幅格式的[NoOffset 横幅库][NoOffset]。只需选择最适合您的。

![1e489aae78725f6759250338d2afe943.png][]

*如果你喜欢我解释事物的方式，你会喜欢[我的书][Link 15]。*

相关

*  [无偏移横幅图库][NoOffset]
 *  [文章：获取下一页 — 偏移量与键集分页][Link 2]

[_use-the-index-luke.com]: https://use-the-index-luke.com/no-offset
[N]: https://docs.mongodb.com/manual/reference/method/cursor.skip/
[o]: https://developer.couchbase.com/documentation/server/5.0/n1ql/n1ql-language-reference/offset.html
[S]: http://orientdb.com/docs/last/Pagination.html#use-the-skip-limit
[Q L]: https://redis.io/commands/SORT
[N 1]: http://stackoverflow.com/a/21040304
[o 1]: https://tugdualgrall.blogspot.co.at/2013/10/pagination-with-couchbase.html
[S 1]: http://orientdb.com/docs/last/Pagination.html#use-the-rid-limit
[Q L 1]: http://guide.couchdb.org/draft/recipes.html#pagination
[Link 1]: https://www.slideshare.net/MarkusWinand/p2d2-pagination-done-the-postgresql-way
[43]: https://www.slideshare.net/MarkusWinand/p2d2-pagination-done-the-postgresql-way/43
[Link 2]: https://use-the-index-luke.com/sql/partial-results/fetch-next-page
[-_-]: https://github.com/binded/bookshelf-cursor-pagination
[.js]: https://massivejs.org/docs/options-objects#keyset-pagination
[Django REST]: https://www.django-rest-framework.org/api-guide/pagination/#cursorpagination
[Link 3]: https://pypi.python.org/pypi/django-infinite-scroll-pagination
[Link 4]: https://github.com/novafloss/django-chunkator
[SQL Alchemy sqlakeyset]: https://github.com/djrobstep/sqlakeyset
[jOOQ _ Java]: https://www.jooq.org/doc/3.9/manual/sql-building/sql-statements/select-statement/seek-clause/
[Link 5]: https://github.com/Blazebit/blaze-persistence
[Link 6]: https://github.com/hanishi/play-scala-slick-partial-results
[8.0_]: https://laravel.com/api/8.x/Illuminate/Contracts/Pagination/CursorPaginator.html
[DRF]: https://github.com/willianantunes/drf-like-paginations
[EntityFrameworkCore.KeysetPagination]: https://github.com/mrahhal/MR.EntityFrameworkCore.KeysetPagination
[Link 7]: https://github.com/chanks/sequel-seek-pagination
[Link 8]: https://github.com/charly/nexter
[order_query]: https://github.com/glebm/order_query
[DBIx_Class_Wrapper]: https://metacpan.org/pod/DBIx::Class::Wrapper::Factory#fast_loop_through
[Link 9]: http://ask.use-the-index-luke.com/
[Link 10]: https://use-the-index-luke.com/contact
[Link 11]: https://twitter.com/MarkusWinand
[WordPress]: https://github.com/david-binda/no-offset-pagination-for-wordpress
[Link 12]: https://twitter.com/intent/tweet?source=webclient&text=I%27m+supporting+%23NoOffset%3A%0APlease+help+spreading+the+word+that+SQLs+OFFSET+is+bad.%0AUse+keyset+pagination+instead%3A%0Ahttp%3A%2F%2Fuse-the-index-luke.com%2Fno-offset
[Link 13]: https://www.facebook.com/sharer/sharer.php?u=https://use-the-index-luke.com/no-offset
[Link 14]: mailto:?subject=Paging%20without%20row%20counts&body=Hi!%0A%0AI%27ve%20just%20read%20an%20article%20that%20says%20using%20row%20counts%20to%20do%20pagination%20is%20a%20bad%20idea%20and%20we%20should%20instead%20fetch%20subsequent%20pages%20using%20the%20last%20fetched%20row%20to%20basically%20load%20everything%20after%20that.%0A%0AI%20though%20that%20might%20be%20interesting%20to%20you%3A%0A%20%20%20http%3A%2F%2Fuse-the-index-luke.com%2Fno-offset
[CC-BY-NC-ND]: https://creativecommons.org/licenses/by-nc-nd/3.0/
[NoOffset]: https://use-the-index-luke.com/no-offset/banner
[1e489aae78725f6759250338d2afe943.png]: https://img-blog.csdnimg.cn/img_convert/1e489aae78725f6759250338d2afe943.png
[Link 15]: https://sql-performance-explained.com/?utm_source=use-the-index-luke.com&utm_campaign=no-offset&utm_medium=web&utm_content=spread-the-word