缓存小结

Myth丶恋晨 2022-06-10 13:55 128阅读 0赞

Mysql 查询缓存

查询缓存的作用就是当查询接收到一个与之前同样的查询，服务器将会从查询缓存种检索结果，而不是再次分析和执行上次的查询。这样就大大提高了性能，节省时间。

1.配置查询缓存

修改配置文件，修改\[mysqld\]下的query\_cache\_size和query\_cache\_type（如果没有则添加）。其中query\_cache\_size表示缓存的大小，而query\_cache\_type有3个值，表示缓存那种类  型的select结果集，query\_cache\_type各个值如下：

0或off关闭缓存

1或on开启缓存，但是不保存使用sql\_no\_cache的select语句,如不缓存select  sql\_no\_cache name from wei where id=2

2或demand开启有条件缓存，只缓存带sql\_cache的select语句，缓存select  sql\_cache name from wei where id=4

例子的配置为下，配置完成重启Mysql服务器即可。

query\_cache\_size=10M

query\_cache\_type=1

query\_cache\_size

允许设置query\_cache\_size的值最小为40K，对于最大值则可以几乎认为无限制，实际生产环境的应用经验告诉我们，该值并不是越大， 查询缓存的命中率就越高，也不是对服务器负载下降贡献大，反而可能抵消其带来的好处，甚至增加服务器的负载，至于该如何设置，下面的章节讲述，推荐设置 为：64M；

query\_cache\_limit

限制查询缓存区最大能缓存的查询记录集，可以避免一个大的查询记录集占去大量的内存区域，而且往往小查询记录集是最有效的缓存记录集，默认设置为1M，建议修改为16k~1024k之间的值域，不过最重要的是根据自己应用的实际情况进行分析、预估来设置；

query\_cache\_min\_res\_unit

设置查询缓存分配内存的最小单位，要适当地设置此参数，可以做到为减少内存块的申请和分配次数，但是设置过大可能导致内存碎片数值上升。默认值为4K，建议设置为1k~16K

query\_cache\_wlock\_invalidate

该参数主要涉及MyISAM引擎，若一个客户端对某表加了写锁，其他客户端发起的查询请求，且查询语句有对应的查询缓存记录，是否允许直接读取查询缓存的记录集信息，还是等待写锁的释放。默认设置为0，也即允许；

可以用如下命令查看是否开启，其中have\_query\_cache为是否开启，query\_cache\_limit 指定单个查询能够使用的缓冲区大小，缺省为1M；query\_cache\_min\_res\_unit为系统分配的最小缓存块大小，默认是4KB，设置值大对大数据查询有好处，但如果你的查询都是小数据 查询，就容易造成内存碎片和浪费；query\_cache\_size和query\_cache\_type就是上面我们的配置；query\_cache\_wlock\_invalidate表示当有其他客户端正在对MyISAM表进行写操作时，如果查询在query cache中，是否返回cache结果还是等写操作完成再读表获取结果。

mysql> show variables like '%query\_cache%';

我们可以通过如下命令查看现在缓存的情况

mysql> show status like 'qcache%';

\+-------------------------+----------+

| Variable\_name      | Value  |

\+-------------------------+----------+

| Qcache\_free\_blocks   | 1    |

| Qcache\_free\_memory   | 10475424 |

| Qcache\_hits       | 1    |

| Qcache\_inserts     | 1    |

| Qcache\_lowmem\_prunes  | 0    |

| Qcache\_not\_cached    | 0    |

| Qcache\_queries\_in\_cache | 1    |

| Qcache\_total\_blocks   | 4    |

\+-------------------------+----------+

其中各个参数的意义如下：

Qcache\_free\_blocks：缓存中相邻内存块的个数。数目大说明可能有碎片。FLUSH QUERY CACHE会对缓存中的碎片进行整理，从而得到一个空闲块。

Qcache\_free\_memory：缓存中的空闲内存。

Qcache\_hits：每次查询在缓存中命中时就增大

Qcache\_inserts：每次插入一个查询时就增大。命中次数除以插入次数就是不中比率。

Qcache\_lowmem\_prunes：缓存出现内存不足并且必须要进行清理以便为更多查询提供空间的次数。这个数字最好长时间来看;如果这个 数字在不断增长，就表示可能碎片非常严重，或者内存很少。(上面的 free\_blocks和free\_memory可以告诉您属于哪种情况)

Qcache\_not\_cached：不适合进行缓存的查询的数量，通常是由于这些查询不是 SELECT 语句或者用了now()之类的函数。

Qcache\_queries\_in\_cache：当前缓存的查询(和响应)的数量。

Qcache\_total\_blocks：缓存中块的数量。

**清除缓存**

mysql的FLUSH句法(清除缓存）

FLUSH flush\_option \[,flush\_option\]

如果你想要清除一些MySQL使用内部缓存，你应该使用FLUSH命令。为了执行FLUSH，你必须有reload权限。

flush\_option可以是下列任何值：

HOSTS       这个用的最多，经常碰见。主要是用来清空主机缓存表。如果你的某些主机改变IP数字，或如果你得到错误消息Host ... isblocked，你应该清空主机表。当在连接MySQL服务器时，对一台给定的主机有多于 max\_connect\_errors个错误连续不断地发生，MySQL为了安全的需要将会阻止该主机进一步的连接请求。清空主机表允许主机再尝试连接。

LOGS        关闭当前的二进制日志文件并创建一个新文件，新的二进制日志文件的名字在当前的二进制文件的编号上加1。

PRIVILEGES  这个也是经常使用的，每当重新赋权后，为了以防万一，让新权限立即生效，一般都执行一把，目地是从数据库授权表中重新装载权限到缓存中。

TABLES       关闭所有打开的表，同时该操作将会清空查询缓存中的内容。

FLUSH TABLES WITH READ LOCK   关闭所有打开的表，同时对于所有数据库中的表都加一个读锁，直到显示地执行unlock tables，该操作常常用于数据备份的时候。

STATUS       重置大多数状态变量到0。

MASTER        删除所有的二进制日志索引文件中的二进制日志文件，重置二进制日志文件的索引文件为空，创建一个新的二进制日志文件,不过这个已经不推荐使用，改成reset master 了。可以想象，以前自己是多土啊，本来一条简单的命令就可以搞定的，却要好几条命令来，以前的做法是先查出来当前的二进制日志文件名，再用purge 操作。

QUERY CACHE   重整查询缓存，消除其中的碎片，提高性能，但是并不影响查询缓存中现有的数据，这点和Flush table 和Reset Query  Cache（将会清空查询缓存的内容）不一样的。

SLAVE        类似于重置复制吧，让从数据库忘记主数据库的复制位置，同时也会删除已经下载下来的relay log,与Master一样，已经不推荐使用，改成Reset Slave了。这个也很有用的。

一般来讲，Flush操作都会记录在二进制日志文件中，但是FLUSH LOGS、FLUSH MASTER、FLUSH SLAVE、FLUSH TABLES WITH READ LOCK不会记录，因此上述操作如果记录在二进制日志文件中话，会对从数据库造成影响。注意：Reset操作其实扮演的是一个Flush操作的增强版的角色。

**查询缓区的碎片整理**

查询缓存使用一段时间之后，一般都会出现内存碎片，为此需要监控相关状态值，并且定期进行内存碎片的整理，碎片整理的操作语句：FLUSH QUERY CACHE；

**清空查询缓存的数据**

那些操作操作可能触发查询缓存，把所有缓存的信息清空，以避免触发或需要的时候，知道如何做，二类可触发查询缓存数据全部清空的命令：

(1).RESET QUERY CACHE；

(2).FLUSH TABLES；

**性能监控**

碎片率

查询缓存内存碎片率=Qcache\_free\_blocks / Qcache\_total\_blocks \* 100%

命中率

查询缓存命中率=(Qcache\_hits – Qcache\_inserts) / Qcache\_hits \* 100%

内存使用率

查询缓存内存使用率=(query\_cache\_size – Qcache\_free\_memory) / query\_cache\_size \* 100%

Qcache\_lowmem\_prunes

该参数值对于检测查询缓存区的内存大小设置是否，有非常关键性的作用，其代表的意义为：查询缓存去因内存不足而不得不从查询缓存区删除的查询缓存信息，删除算法为LRU；

query\_cache\_min\_res\_unit

内存块分配的最小单元非常重要，设置过大可能增加内存碎片的概率发生，太小又可能增加内存分配的消耗，为此在系统平稳运行一个阶段性后，可参考公式的计算值：

查询缓存最小内存块 = (query\_cache\_size – Qcache\_free\_memory) / Qcache\_queries\_in\_cache

query\_cache\_size

我们如何判断query\_cache\_size是否设置过小，依然也只有先预设置一个值，推荐为：32M~128M之间的区域，待系统平稳运行一个时间段（至少1周），并且观察这周内的相关状态值：

(1).Qcache\_lowmem\_prunes；

(2).命中率；

(3).内存使用率；

若整个平稳运行期监控获得的信息，为命中率高于80%，内存使用率超过80%，并且Qcache\_lowmem\_prunes的值不停地增加，而且增加的数值还较大，则说明我们为查询缓冲区分配的内存过小，可以适当地增加查询缓存区的内存大小；

若是整个平稳运行期监控获得的信息，为命中率低于40%，Qcache\_lowmem\_prunes的值也保持一个平稳状态，则说明我们的查询缓冲区的内 存设置过大，或者说业务场景重复执行一样查询语句的概率低，同时若还监测到一定量的freeing items，那么必须考虑把查询缓存的内存条小，甚至关闭查询缓存功能；

MySQL中内存分为全局内存和线程内存两大部分（其实并不全部，只是影响比较大的 部分）：

per\_thread\_buffers=(read\_buffer\_size+read\_rnd\_buffer\_size+sort\_buffer\_size+thread\_stack+join\_buffer\_size+binlog\_cache\_size

\+tmp\_table\_size)\*max\_connections

global\_buffers=

innodb\_buffer\_pool\_size+innodb\_additional\_mem\_pool\_size+innodb\_log\_buffer\_size+key\_buffer\_size+query\_cache\_size

total\_memory=global\_buffers+per\_thread\_buffers

**全局缓存：**

**key\_buffer\_size：**

决定索引处理的速度，尤其是索引读的速度。默认值是16M，通过检查状态值Key\_read\_requests和Key\_reads，可以知道key\_buffer\_size设置是否合理。比例key\_reads / key\_read\_requests应该尽可能的低，至少是1:100，1:1000更好（上述状态值可以使用'key\_read%'获得用来显示状态数据）。key\_buffer\_size只对MyISAM表起作用。即使你不使用MyISAM表，但是内部的临时磁盘表是MyISAM表，也要使用该值。可以使用检查状态值'created\_tmp\_disk\_tables'得知详情。

**innodb\_buffer\_pool\_size：**

InnoDB使用该参数指定大小的内存来缓冲数据和索引，这个是Innodb引擎中影响性能最大的参数。

**innodb\_additional\_mem\_pool\_size：**

指定InnoDB用来存储数据字典和其他内部数据结构的内存池大小。缺省值是8M。通常不用太大，只要够用就行，应该与表结构的复杂度有关系。如果不够用，MySQL会在错误日志中写入一条警告信息。

**innodb\_log\_buffer\_size：**

指定InnoDB用来存储日志数据的缓存大小，如果您的表操作中包含大量并发事务（或大规模事务），并且在事务提交前要求记录日志文件，请尽量调高此项值，以提高日志效率。

**query\_cache\_size：**

是MySQL的查询缓冲大小。（从4.0.1开始，MySQL提供了查询缓冲机制）使用查询缓冲，MySQL将SELECT语句和查询结果存放在缓冲区中，今后对于同样的SELECT语句（区分大小写），将直接从缓冲区中读取结果。根据MySQL用户手册，使用查询缓冲最多可以达到238%的效率。通过检查状态值'Qcache\_%'，可以知道query\_cache\_size设置是否合理：如果Qcache\_lowmem\_prunes的值非常大，则表明经常出现缓冲不够的情况，如果Qcache\_hits的值也非常大，则表明查询缓冲使用非常频繁，此时需要增加缓冲大小；如果Qcache\_hits的值不大，则表明你的查询重复率很低，这种情况下使用查询缓冲反而会影响效率，那么可以考虑不用查询缓冲。此外，在SELECT语句中加入SQL\_NO\_CACHE可以明确表示不使用查询缓冲。

**线程缓存**

每个连接到MySQL服务器的线程都需要有自己的缓冲。大概需要立刻分配256K，甚至在线程空闲时，它们使用默认的线程堆栈，网络缓存等。事务开始之后，则需要增加更多的空间。运行较小的查询可能仅给指定的线程增加少量的内存消耗，然而如果对数据表做复杂的操作例如扫描、排序或者需要临时表，则需分配大约read\_buffer\_size，sort\_buffer\_size，read\_rnd\_buffer\_size，tmp\_table\_size大小的内存空间。不过它们只是在需要的时候才分配，并且在那些操作做完之后就释放了。有的是立刻分配成单独的组块。tmp\_table\_size 可能高达MySQL所能分配给这个操作的最大内存空间了。

**read\_buffer\_size：**

是MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区，MySQL会为它分配一段内存缓冲区。read\_buffer\_size变量控制这一缓冲区的大小。如果对表的顺序扫描请求非常频繁，并且你认为频繁扫描进行得太慢，可以通过增加该变量值以及内存缓冲区大小提高其性能。

**sort\_buffer\_size：**

是MySQL执行排序使用的缓冲大小。如果想要增加ORDER BY的速度，首先看是否可以让MySQL使用索引而不是额外的排序阶段。如果不能，可以尝试增加sort\_buffer\_size变量的大小。

**read\_rnd\_buffer\_size：**

是MySQL的随机读缓冲区大小。当按任意顺序读取行时(例如，按照排序顺序)，将分配一个随机读缓存区。进行排序查询时，MySQL会首先扫描一遍该缓冲，以避免磁盘搜索，提高查询速度，如果需要排序大量数据，可适当调高该值。但MySQL会为每个客户连接发放该缓冲空间，所以应尽量适当设置该值，以避免内存开销过大。

tmp\_table\_size：

是MySQL的临时表缓冲大小。所有联合在一个DML指令内完成，并且大多数联合甚至可以不用临时表即可以完成。大多数临时表是基于内存的(HEAP)表。具有大的记录长度的临时表 (所有列的长度的和)或包含BLOB列的表存储在硬盘上。如果某个内部heap（堆积）表大小超过tmp\_table\_size，MySQL可以根据需要自动将内存中的heap表改为基于硬盘的MyISAM表。还可以通过设置tmp\_table\_size选项来增加临时表的大小。也就是说，如果调高该值，MySQL同时将增加heap表的大小，可达到提高联接查询速度的效果。

**thread\_stack ：**

主要用来存放每一个线程自身的标识信息，如线程id，线程运行时基本信息等等，我们可以通过 thread\_stack 参数来设置为每一个线程栈分配多大的内存。

**join\_buffer\_size：**

应用程序经常会出现一些两表（或多表）Join的操作需求，MySQL在完成某些 Join 需求的时候（all/index join），为了减少参与Join的“被驱动表”的读取次数以提高性能，需要使用到 Join Buffer 来协助完成 Join操作。当 Join Buffer 太小，MySQL 不会将该 Buffer 存入磁盘文件，而是先将Join Buffer中的结果集与需要 Join 的表进行 Join 操作，然后清空 Join Buffer 中的数据，继续将剩余的结果集写入此 Buffer 中，如此往复。这势必会造成被驱动表需要被多次读取，成倍增加 IO 访问，降低效率。

**binlog\_cache\_size：**

在事务过程中容纳二进制日志SQL 语句的缓存大小。二进制日志缓存是服务器支持事务存储引擎并且服务器启用了二进制日志(—log-bin 选项)的前提下为每个客户端分配的内存，注意，是每个Client 都可以分配设置大小的binlog cache 空间。如果系统中经常会出现多语句事务的话，可以尝试增加该值的大小，以获得更好的性能。当然，我们可以通过MySQL 的以下两个状态变量来判断当前的binlog\_cache\_size 的状况：Binlog\_cache\_use 和Binlog\_cache\_disk\_use。“max\_binlog\_cache\_size”：和"binlog\_cache\_size"相对应，但是所代表的是binlog 能够使用的最大cache 内存大小。当我们执行多语句事务的时候，max\_binlog\_cache\_size 如果不够大的话，系统可能会报出“ Multi-statement transaction required more than 'max\_binlog\_cache\_size' bytes ofstorage”的错误。

其中需要注意的是：table\_cache表示的是所有线程打开的表的数目，和内存无关。