工作总结 - 大数据表分页查询优化

旧城等待， 2022-05-25 02:06 202阅读 0赞

在我们进行数据查询时，不可避免要碰到分页的问题。我们通常会在返回数据表格页面下方显示如下信息用于对分页的信息的操作：

总数: 200  [首页] [上一页] 2，[3]，4，5 [下一页] [尾页]

### 对于小表我们可以直接操作数据获取如下信息 ###

使用sql语句计算出符合条件的记录总数  
select count(1) from table where xxx in (1,2,3)

通过如下的sql获取指定页面的数据  
select \* from table where xxx in (1,2,3) order by id limit \#offset\#, 10

### 对大表的分页的操作 ###

如果表的数据量达到千万、亿级的数量级时，以上方法就不可行了。使用以上的sql语句计算符合条件的数据总数时，会花费大量的时间。我们可以使用如下方法解决这个问题

#### 避免总数的查询 ####

研究发现：随着时间的推移，越早产生的数据，价值越小，在数据量越大的情况下，用户对总数的敏感性越低。所以在数据量足够大的情况下，我们可以不在结果中返回总数（即去掉分页信息中的总数、首页、尾页信息），避免总数的查询。  
没有了总数，我们如何计算上一页，下一页呢？

*  对于上一页：如果当前页为N页面，如上一页是（N-1）。如果N=1，则上一页不可以点击
 *  对于下一页：假如每页显示 10 条数据，那么查询数据库的时候，用 “limit \#offset\#, 11” 取出 11 条记录，页面展现10条。如果取到了 11 条，说明下一页还有数据，在页面展示下一页按钮。如果结果集数量不足 11，说明已经到了最后一页，下一页显示不可以点击。

新的分页的信息的操作格式如下：

[上一页] 2，[3]，4，5 [下一页]

事实上google就是这样做的。在查看第一页搜索结果的时候google只会显示前十页(共100个条目)，并不显示搜索结果条目总共有多少。查看第二页的时候，仅仅会多显示一页。

#### 如果必须要显示总数，可以使用如下方法 ####

*  方法一：缓存前N页的记录  
    研究发现：用户比较关心的是最近产生的一小部分数据。所以我们可以在用户查询的时候，一次性从数据库查询符合条件的 前N页条数据缓存起来，足够用户翻个几页，避免每次翻页都要查询数据库。
 *  方法二：估算总结果数  
    如果用户可以接受不精确的总数，我们可以估算总结果数。如在mysql中通过EXPLAIN的”rows”列来快速估算结果总共有多少记录  
    EXPLAIN SELECT \* FROM table where xxx in (1,2,3);

发表评论取消回复

表情：

评论列表（有 0 条评论，202人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL大表分页查询优化技巧

一、问题复现在实际的软件系统开发过程中，随着使用的用户群体越来越多，表数据也会随着时间的推移，单表的数据量会越来越大。以订单表为例，假如每天的订单量在 4 万左右，

超、凢脫俗/ 2023年10月03日 22:34/ 0 赞/ 67 阅读

相关分页查询优化

文章目录分页查询优化简单分页子查询优化直接利用索引定位优化分页查询优化 > 当需要从数据库查询的表的数据量

清疚/ 2023年02月18日 01:58/ 0 赞/ 54 阅读

相关 mysql 大分页查询优化_Mysql优化大分页查询

如题，年前做了一个需求，涉及到Mysql大分页查询，整理一下，希望对需要的小伙伴有帮助。背景 ![1255187e4eb1d15dd394c32d0a43427a.png

叁歲伎倆/ 2023年01月11日 10:58/ 0 赞/ 228 阅读

相关数据库分页查询优化

word文档地址：https://github.com/IceEmblem/-/tree/master/%E5%AD%A6%E4%B9%A0%E8%B5%84%E6%96%99

青旅半醒/ 2022年12月27日 14:14/ 0 赞/ 209 阅读

相关 Oracle分页查询优化

select from (select temp1., rownum temp2 --查询sql和条件

「爱情、让人受尽委屈。」/ 2022年12月25日 14:54/ 0 赞/ 240 阅读

相关分页查询优化

前提条件: 表不能物理删除, 主键自增 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9

港控/mmm°/ 2022年10月29日 09:10/ 0 赞/ 42 阅读

相关优化大数据表的查询

一个含有一千零一万条数据的表 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNz

淩亂°似流年/ 2022年09月04日 14:49/ 0 赞/ 190 阅读

相关工作总结 - 大数据表分页查询优化

在我们进行数据查询时，不可避免要碰到分页的问题。我们通常会在返回数据表格页面下方显示如下信息用于对分页的信息的操作：总数: 200 [首页] [上一页] 2，[3

旧城等待，/ 2022年05月25日 02:06/ 0 赞/ 203 阅读

相关 mysql大表分页查询优化(翻译)

> 大表分页查询优化文章目录 1. 分页查询核心点 2 索引使用 3. 使用实例

Myth丶恋晨/ 2022年03月01日 13:52/ 0 赞/ 434 阅读

相关 MySQL分页查询优化

当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。下面

秒速五厘米/ 2021年12月12日 16:21/ 0 赞/ 499 阅读