mysql单表上亿,怎么优化分页查询

绝地灬酷狼 2023-09-25 09:48 139阅读 0赞

## 如何优化Mysql千万级快速分页，limit优化快 ##

很多应用往往只展示最新或最热门的几条记录，但为了旧记录仍然可访问，所以就需要个分页的导航栏。然而，如何通过MySQL更好的实现分页，始终是比较令人头疼的问题。虽然没有拿来就能用的解决办法，但了解数据库的底层或多或少有助于优化分页查询。

我们先从一个常用但性能很差的查询来看一看。

SELECT\*

FROMcity

ORDERBYidDESC

LIMIT0,15

这个查询耗时0.00sec。So，这个查询有什么问题呢？实际上，这个查询语句和参数都没有问题，因为它用到了下面表的主键，而且只读取15条记录。

CREATETABLEcity(

idint(10)unsignedNOTNULLAUTO\_INCREMENT,

cityvarchar(128)NOTNULL,

PRIMARYKEY(id)

)ENGINE=InnoDB;

真正的问题在于offset(分页偏移量)很大的时候，像下面这样：

SELECT\*

FROMcity

ORDERBYidDESC

LIMIT100000,15;

上面的查询在有2M行记录时需要0.22sec，通过EXPLAIN查看SQL的执行计划可以发现该SQL检索了100015行，但最后只需要15行。大的分页偏移量会增加使用的数据，MySQL会将大量最终不会使用的数据加载到内存中。就算我们假设大部分网站的用户只访问前几页数据，但少量的大的分页偏移量的请求也会对整个系统造成危害。Facebook意识到了这一点，但Facebook并没有为了每秒可以处理更多的请求而去优化数据库，而是将重心放在将请求响应时间的方差变小。

对于分页请求，还有一个信息也很重要，就是总共的记录数。我们可以通过下面的查询很容易的获取总的记录数。

SELECTCOUNT(\*)

FROMcity;

然而，上面的SQL在采用InnoDB为存储引擎时需要耗费9.28sec。一个不正确的优化是采用SQL\_CALC\_FOUND\_ROWS,SQL\_CALC\_FOUND\_ROWS可以在能够在分页查询时事先准备好符合条件的记录数，随后只要执行一句selectFOUND\_ROWS();就能获得总记录数。但是在大多数情况下，查询语句简短并不意味着性能的提高。不幸的是，这种分页查询方式在许多主流框架中都有用到，下面看看这个语句的查询性能。

SELECTSQL\_CALC\_FOUND\_ROWS\*

FROMcity

ORDERBYidDESC

LIMIT100000,15;

这个语句耗时20.02sec，是上一个的两倍。事实证明使用SQL\_CALC\_FOUND\_ROWS做分页是很糟糕的想法。

下面来看看到底如何优化。文章分为两部分，第一部分是如何获取记录的总数目，第二部分是获取真正的记录。

高效的计算行数

如果采用的引擎是MyISAM，可以直接执行COUNT(\*)去获取行数即可。相似的，在堆表中也会将行数存储到表的元信息中。但如果引擎是InnoDB情况就会复杂一些，因为InnoDB不保存表的具体行数。

我们可以将行数缓存起来，然后可以通过一个守护进程定期更新或者用户的某些操作导致缓存失效时，执行下面的语句：

SELECTCOUNT(\*)

FROMcity

USEINDEX(PRIMARY);

下面进入这篇文章最重要的部分，获取分页要展示的记录。上面已经说过了，大的偏移量会影响性能，所以我们要重写查询语句。为了演示，我们创建一个新的表“news”，按照时事性排序(最新发布的在最前面)，实现一个高性能的分页。为了简单，我们就假设最新发布的新闻的Id也是最大的。

CREATETABLEnews(

idINTUNSIGNEDPRIMARYKEYAUTO\_INCREMENT,

titleVARCHAR(128)NOTNULL

)ENGINE=InnoDB;

一个比较高效的方式是基于用户展示的最后一个新闻Id。查询下一页的语句如下，需要传入当前页面展示的最后一个Id。

SELECT\*

FROMnewsWHEREid

ORDERBYidDESC

LIMIT$perpage

查询上一页的语句类似，只不过需要传入当前页的第一个Id，并且要逆序。

SELECT\*

FROMnewsWHEREid>$last\_id

ORDERBYidASC

LIMIT$perpage

上面的查询方式适合实现简易的分页，即不显示具体的页数导航，只显示“上一页”和“下一页”，例如博客中页脚显示“上一页”，“下一页”的按钮。但如果要实现真正的页面导航还是很难的,下面看看另一种方式。

SELECTid

FROM(

SELECTid,((@cnt:=@cnt+1)+$perpage-1)%$perpagecnt

FROMnews

JOIN(SELECT@cnt:=0)T

WHEREid

ORDERBYidDESC

LIMIT$perpage\*$buttons

WHEREcnt=0;

通过上面的语句可以为每一个分页的按钮计算出一个offset对应的id。这种方法还有一个好处。假设，网站上正在发布一片新的文章，那么所有文章的位置都会往后移一位，所以如果用户在发布文章时换页，那么他会看见一篇文章两次。如果固定了每个按钮的offsetId，这个问题就迎刃而解了。MarkCallaghan发表过一篇类似的博客，利用了组合索引和两个位置变量，但是基本思想是一致的。

如果表中的记录很少被删除、修改，还可以将记录对应的页码存储到表中，并在该列上创建合适的索引。采用这种方式，当新增一个记录的时候，需要执行下面的查询重新生成对应的页号。

SETp:=0;

UPDATEnewsSETpage=CEIL((p:=p+1)/$perpage)ORDERBYidDESC;

当然，也可以新增一个专用于分页的表，可以用个后台程序来维护。

UPDATEpaginationT

JOIN(

SELECTid,CEIL((p:=p+1)/$perpage)page

FROMnews

ORDERBYid

ONC.id=T.id

SETT.page=C.page;

现在想获取任意一页的元素就很简单了：

SELECT\*

FROMnewsA

JOINpaginationBONA.id=B.ID

WHEREpage=$offset;

还有另外一种与上种方法比较相似的方法来做分页，这种方式比较试用于数据集相对小，并且没有可用的索引的情况下—比如处理搜索结果时。在一个普通的服务器上执行下面的查询，当有2M条记录时，要耗费2sec左右。这种方式比较简单，创建一个用来存储所有Id的临时表即可(这也是最耗费性能的地方)。

CREATETEMPORARYTABLE\_tmp(KEYSORT(random))

SELECTid,FLOOR(RAND()\*0x8000000)random

FROMcity;

ALTERTABLE\_tmpADDOFFSETINTUNSIGNEDPRIMARYKEYAUTO\_INCREMENT,DROPINDEXSORT,ORDERBYrandom;

接下来就可以向下面一样执行分页查询了。

SELECT\*

FROM\_tmp

WHEREOFFSET>=$offset

ORDERBYOFFSET

LIMIT$perpage;

简单来说，对于分页的优化就是。。。避免数据量大时扫描过多的记录。

![mysql单表上亿,怎么优化分页查询\_mysql单表上亿,怎么优化分页查询][mysql_mysql]

## Mysql分页优化(100000条数据以上的查询)，求指点~方法~ 有例子更好，网上的没看懂~ ##

10W数据基本不用优化的。走索引就可以了。上百万了再说吧。楼主会不会是少加了一个0.10w条数据不算多，给where里的字段加上索引，如果有多个字段就加复合索引很多应用往往只展示最新或最热门的几条记录，但为了旧记录仍然可访问，所以就需要个分页的导航栏。然而，如何通过MySQL更好的实现分页，始终是比较令人头疼的问题。虽然没有拿来就能用的解决办法，但了解数据库的底层或多或少有助于优化分页查询。我们先从一个常用但性能很差的查询来看一看。SELECT \*FROM cityORDER BY id DESCLIMIT 0, 15这个查询耗时0.00sec。So，这个查询有什么问题呢？实际上，这个查询语句和参数都没有问题，因为它用到了下面表的主键，而且只读取15条记录。CREATE TABLE city (id int(10) unsigned NOT NULL AUTO\_INCREMENT,city varchar(128) NOT NULL,PRIMARY KEY (id)) ENGINE=InnoDB;真正的问题在于offset(分页偏移量)很大的时候，像下面这样：SELECT \*FROM cityORDER BY id DESCLIMIT 100000, 15;上面的查询在有2M行记录时需要0.22sec，通过EXPLAIN查看SQL的执行计划可以发现该SQL检索了100015行，但最后只需要15行。大的分页偏移量会增加使用的数据，MySQL会将大量最终不会使用的数据加载到内存中。就算我们假设大部分网站的用户只访问前几页数据，但少量的大的分页偏移量的请求也会对整个系统造成危害。Facebook意识到了这一点，但Facebook并没有为了每秒可以处理更多的请求而去优化数据库，而是将重心放在将请求响应时间的方差变小。对于分页请求，还有一个信息也很重要，就是总共的记录数。我们可以通过下面的查询很容易的获取总的记录数。SELECT COUNT(\*)FROM city;然而，上面的SQL在采用InnoDB为存储引擎时需要耗费9.28sec。一个不正确的优化是采用 SQL\_CALC\_FOUND\_ROWS,SQL\_CALC\_FOUND\_ROWS 可以在能够在分页查询时事先准备好符合条件的记录数，随后只要执行一句 select FOUND\_ROWS(); 就能获得总记录数。但是在大多数情况下，查询语句简短并不意味着性能的提高。不幸的是，这种分页查询方式在许多主流框架中都有用到，下面看看这个语句的查询性能。SELECT SQL\_CALC\_FOUND\_ROWS \*FROM cityORDER BY id DESCLIMIT 100000, 15;这个语句耗时20.02sec，是上一个的两倍。事实证明使用 SQL\_CALC\_FOUND\_ROWS 做分页是很糟糕的想法。下面来看看到底如何优化。文章分为两部分，第一部分是如何获取记录的总数目，第二部分是获取真正的记录。如果采用的引擎是MyISAM，可以直接执行COUNT(\*)去获取行数即可。相似的，在堆表中也会将行数存储到表的元信息中。但如果引擎是InnoDB情况就会复杂一些，因为InnoDB不保存表的具体行数。我们可以将行数缓存起来，然后可以通过一个守护进程定期更新或者用户的某些操作导致缓存失效时，执行下面的语句：SELECT COUNT(\*)FROM cityUSE INDEX(PRIMARY);下面进入这篇文章最重要的部分，获取分页要展示的记录。上面已经说过了，大的偏移量会影响性能，所以我们要重写查询语句。为了演示，我们创建一个新的表“news”，按照时事性排序(最新发布的在最前面)，实现一个高性能的分页。为了简单，我们就假设最新发布的新闻的Id也是最大的。CREATE TABLE news(id INT UNSIGNED PRIMARY KEY AUTO\_INCREMENT,title VARCHAR(128) NOT NULL) ENGINE=InnoDB;一个比较高效的方式是基于用户展示的最后一个新闻Id。查询下一页的语句如下，需要传入当前页面展示的最后一个Id。SELECT \*FROM news WHERE id < $last\_idORDER BY id DESCLIMIT $perpage查询上一页的语句类似，只不过需要传入当前页的第一个Id，并且要逆序。SELECT \*FROM news WHERE id > $last\_idORDER BY id ASCLIMIT $perpage上面的查询方式适合实现简易的分页，即不显示具体的页数导航，只显示“上一页”和“下一页”，例如博客中页脚显示“上一页”，“下一页”的按钮。但如果要实现真正的页面导航还是很难的,下面看看另一种方式。SELECT idSELECT id, ((@cnt:= @cnt + 1) + $perpage - 1) % $perpage cntFROM newsJOIN (SELECT @cnt:= 0)TWHERE id < $last\_idORDER BY id DESCLIMIT $perpage \* $buttonsWHERE cnt = 0;通过上面的语句可以为每一个分页的按钮计算出一个offset对应的id。这种方法还有一个好处。假设，网站上正在发布一片新的文章，那么所有文章的位置都会往后移一位，所以如果用户在发布文章时换页，那么他会看见一篇文章两次。如果固定了每个按钮的offset Id，这个问题就迎刃而解了。Mark Callaghan发表过一篇类似的博客，利用了组合索引和两个位置变量，但是基本思想是一致的。如果表中的记录很少被删除、修改，还可以将记录对应的页码存储到表中，并在该列上创建合适的索引。采用这种方式，当新增一个记录的时候，需要执行下面的查询重新生成对应的页号。SET p:= 0;UPDATE news SET page=CEIL((p:= p + 1) / $perpage) ORDER BY id DESC;当然，也可以新增一个专用于分页的表，可以用个后台程序来维护。UPDATE pagination TSELECT id, CEIL((p:= p + 1) / $perpage) pageFROM newsORDER BY idON C.id = T.idSET T.page = C.page;现在想获取任意一页的元素就很简单了：SELECT \*FROM news AJOIN pagination B ON A.id=B.IDWHERE page=$offset;还有另外一种与上种方法比较相似的方法来做分页，这种方式比较试用于数据集相对小，并且没有可用的索引的情况下—比如处理搜索结果时。在一个普通的服务器上执行下面的查询，当有2M条记录时，要耗费2sec左右。这种方式比较简单，创建一个用来存储所有Id的临时表即可(这也是最耗费性能的地方)。CREATE TEMPORARY TABLE \_tmp (KEY SORT(random))SELECT id, FLOOR(RAND() \* 0x8000000) randomFROM city;ALTER TABLE \_tmp ADD OFFSET INT UNSIGNED PRIMARY KEY AUTO\_INCREMENT, DROP INDEX SORT,ORDER BY random;接下来就可以向下面一样执行分页查询了。SELECT \*FROM \_tmpWHERE OFFSET >= $offsetORDER BY OFFSETLIMIT $perpage;简单来说，对于分页的优化就是。。。避免数据量大时扫描过多的记录。

## mysql数据量大时 怎么分页 比较快 ##

分页查询一般 DBA 想到的办法是在某个(如ID，create\_time)字段上加组合索引。这样条件排序都能有效的利用到索引，性能迅速提升。

因为如果当 LIMIT 子句变成 “LIMIT 1000000,10” 时，你会抱怨：我只取10条记录为什么还是慢？

要知道数据库也并不知道第1000000条记录从什么地方开始，即使有索引也需要从头计算一次。出现这种性能问题，多数情形下是程序员偷懒了。在前端数据浏览翻页，或者大数据分批导出等场景下，是可以将上一页的最大值当成参数作为查询条件的。SQL 重新设计如下：

SELECT\*

FROM表

WHERE create\_time > '2017-07-04 09:00:00'

ORDER BY create\_time limit 10;

这样查询时间基本固定，不会随着数据量的增长而发生变化。

![mysql单表上亿,怎么优化分页查询\_mysql单表上亿,怎么优化分页查询\_02][mysql_mysql_02]

## mysql数据量大时 怎么分页 比较快 ##

分页查询一般 DBA 想到的办法是在某个(如ID，create\_time)字段上加组合索引。这样条件排序都能有效的利用到索引，性能迅速提升。

因为如果当 LIMIT 子句变成 “LIMIT 1000000,10” 时，你会抱怨：我只取10条记录为什么还是慢？

SELECT\*

FROM表

WHERE create\_time > '2017-07-04 09:00:00'

ORDER BY create\_time limit 10;

这样查询时间基本固定，不会随着数据量的增长而发生变化。

[mysql_mysql]: https://img2.baidu.com/it/u=1591017153,2257588873&fm=26&fmt=auto
[mysql_mysql_02]: https://img-blog.csdnimg.cn/img_convert/97618015cd0c7c3aaa2de4bcebda4e48.jpeg