mysql binlog cache_MySQL · 引擎特性 · MYSQL Binlog Cache详解

快来打我* 2023-10-05 18:27 27阅读 0赞

MYSQL Binlog Cache详解

最近在线上遇到一个突发情况：某客户出现了超大事务，该事务运行时占据的磁盘空间超过800GB，但du -sh时未发现任何线索。于是刨根溯源，找到了最终的原因并紧急处理了该问题。本文便是对该问题涉及的binlog cache知识进行整理，希望也能造福更多的朋友。本文会涉及到如下几个概念：

binlog cache：它是用于缓存binlog event的内存，大小由binlog\_cache\_size控制

binlog cache 临时文件：是一个临时磁盘文件，存储由于binlog cache不足溢出的binlog event，该文件名字由”ML”打头，由参数max\_binlog\_cache\_size控制该文件大小

binlog file：代表binglog 文件，由max\_binlog\_size指定大小

binlog event：代表binlog中的记录，如MAP\_EVENT/QUERY EVENT/XID EVENT/WRITE EVENT等

事务binlog event写入流程

binlog cache和binlog临时文件都是在事务运行过程中写入，一旦事务提交，binlog cache和binlog临时文件都会释放掉。而且如果事务中包含多个DML语句，他们共享binlog cache和binlog 临时文件。整个binlog写入流程：

事务开启

执行dml语句，在dml语句第一次执行的时候会分配内存空间binlog cache

执行dml语句期间生成的event不断写入到binlog cache

如果binlog cache的空间已经满了，则将binlog cache的数据写入到binlog临时文件，同时清空binlog cache。如果binlog临时文件的大小大于了max\_binlog\_cache\_size的设置则抛错ERROR 1197

事务提交，整个binlog cache和binlog临时文件数据全部写入到binlog file中，同时释放binlog cache和binlog临时文件。但是注意此时binlog cache的内存空间会被保留以供THD上的下一个事务使用，但是binlog临时文件被截断为0，保留文件描述符。其实也就是IO\_CACHE(参考后文)保留，并且保留IO\_CACHE中的分配的内存空间，和物理文件描述符

客户端断开连接，这个过程会释放IO\_CACHE同时释放其持有的binlog cache内存空间以及持有的binlog 临时文件。

本文主要关注步骤3和4过程中对binlog cache以及binlog 临时文件的写入细节。

数据结构

binlog\_cache\_mngr

这个类中包含了两个cache：binlog cache和binlog stmt cache。同时包含了将binlog event flush到binlog file的方法。

binlog\_trx\_cache\_data

暂时不表

Binlog\_cache\_storage

暂时不表

IO\_CACHE\_binlog\_cache\_storage

暂时不表

IO\_CACHE

将binlog event写入到binlog cache 或者 binlog临时文件都是由 IO\_CACHE子系统实现的。IO\_CACHE子系统实现了写缓存以及在缓存不足时写入物理文件的功能。它包含读缓存，写缓存以及访问物理文件等信息。其维护的核心成员有：

读缓存 uchar \*buffer;

写缓存 uchar \*write\_buffer;

物理文件 File file;

同时IO\_CACHE也支持多种访问模式如READ\_CACHE/WRITE\_CACHE/SEQ\_READ\_APPEND，这里就暂时不表。

binlog\_cache\_size & max\_binlog\_cache\_size

如果开启binlog，那么binlog\_cache\_size用来在事务运行期间在内存中缓存binlog event。如果经常使用大事务应该加大这个缓存，避免过多的磁盘使用影响性能。

当binlog\_cache\_size不足以容纳所有的binlog event时，便转而使用临时文件来缓存binlog event。从Binlog\_cache\_use和Binlog\_cache\_disk\_use可以看出是否使用了binlog cache或binlog 临时文件用于保存binlog event。

binlog cache创建

事务开启时，如果开启binlog功能，便会创建binlog cache。

void \*handler\_create\_thd(

bool enable\_binlog) /\*!< in: whether to enable binlog \*/

...

if (enable\_binlog) \{

thd->binlog\_setup\_trx\_data();

return (thd);

int THD::binlog\_setup\_trx\_data() \{

binlog\_cache\_mngr \*cache\_mngr = thd\_get\_cache\_mngr(this);

cache\_mngr = (binlog\_cache\_mngr \*)my\_malloc(key\_memory\_binlog\_cache\_mngr,

sizeof(binlog\_cache\_mngr),

MYF(MY\_ZEROFILL));

cache\_mngr = new (cache\_mngr)

binlog\_cache\_mngr(&binlog\_stmt\_cache\_use, &binlog\_stmt\_cache\_disk\_use,

&binlog\_cache\_use, &binlog\_cache\_disk\_use);

if (cache\_mngr->init()) \{

...

class binlog\_cache\_mngr \{

public:

bool init() \{

return stmt\_cache.open(binlog\_stmt\_cache\_size,

max\_binlog\_stmt\_cache\_size) ||

trx\_cache.open(binlog\_cache\_size, max\_binlog\_cache\_size);

class binlog\_cache\_data \{

public:

bool open(my\_off\_t cache\_size, my\_off\_t max\_cache\_size) \{

return m\_cache.open(cache\_size, max\_cache\_size);

// 分配binlog cache内存缓存空间以及创建临时文件

// 最终是进入了函数init\_io\_cache\_ext处理，暂且不表

bool Binlog\_cache\_storage::open(my\_off\_t cache\_size, my\_off\_t max\_cache\_size) \{

const char \*LOG\_PREFIX = "ML";

if (m\_file.open(mysql\_tmpdir, LOG\_PREFIX, cache\_size, max\_cache\_size))

return true;

m\_pipeline\_head = &m\_file;

return false;

binlog临时文件会被存放到tmpdir的目录下，并以”ML”作为文件名开头。但该文件无法用ls命令看到，因为使用了LINUX创建临时API(mkstemp)，以避免其他进程破坏文件内容。也就是说，这个文件是mysqld进程内部专用的，我们在后面会给出访问该文件的方法。

binlog写入cache和临时文件

binlog event写入binlog cache和临时文件是通过函数\_my\_b\_write进行的：

bool IO\_CACHE\_binlog\_cache\_storage::write(const unsigned char \*buffer,

my\_off\_t length) \{

return my\_b\_safe\_write(&m\_io\_cache, buffer, length);

int my\_b\_safe\_write(IO\_CACHE \*info, const uchar \*Buffer, size\_t Count) \{

if (info->type == SEQ\_READ\_APPEND) return my\_b\_append(info, Buffer, Count);

return my\_b\_write(info, Buffer, Count);

// 如果binlog cache缓存当前写入的位置加上本次写入的总量大于了binlog cache的内存地址的边界

// 则我们需要进行通过\*(info)->write\_function将binlog cache的内容写到磁盘了

// 这样才能腾出空间给新的binlog event存放。这个回调函数就是\_my\_b\_write。

\#define my\_b\_write(info, Buffer, Count) \\

((info)->write\_pos + (Count) <= (info)->write\_end \\

? (memcpy((info)->write\_pos, (Buffer), (size\_t)(Count)), \\

((info)->write\_pos += (Count)), 0) \\

: (\*(info)->write\_function)((info), (uchar \*)(Buffer), (Count)))

int \_my\_b\_write(IO\_CACHE \*info, const uchar \*Buffer, size\_t Count) \{

size\_t rest\_length, length;

my\_off\_t pos\_in\_file = info->pos\_in\_file;

// 如果超过临时文件大小设置,则报错

if (pos\_in\_file + info->buffer\_length > info->end\_of\_file) \{

errno = EFBIG;

set\_my\_errno(EFBIG);

return info->error = -1;

// 首先将binlog内容拷贝至内存cache,将cache填满

rest\_length = (size\_t)(info->write\_end - info->write\_pos);

memcpy(info->write\_pos, Buffer, (size\_t)rest\_length);

Buffer += rest\_length;

Count -= rest\_length;

info->write\_pos += rest\_length;

if (my\_b\_flush\_io\_cache(info, 1)) return 1;

if (Count >= IO\_SIZE) \{ /\* Fill first intern buffer \*/

length = Count & (size\_t) ~(IO\_SIZE - 1);

...

if (mysql\_file\_write(info->file, Buffer, length, info->myflags | MY\_NABP))

return info->error = -1;

...

Count -= length;

Buffer += length;

info->pos\_in\_file += length;

memcpy(info->write\_pos, Buffer, (size\_t)Count);

info->write\_pos += Count;

return 0;

运维技巧：查看binlog 临时文件

因为没法直接通过ls来查看binlog临时缓存文件，但可以使用lsof|grep delete来观察到这种文件

\[root@test ~\]\# lsof|grep delete|grep ML

mysqld 21414 root 77u REG 252,3 65536 1856092 /var/tmp/mysqld.1/MLUFzokf

mysql binlog cache_MySQL · 引擎特性 · MYSQL Binlog Cache详解

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 mysql binlog cache_MySQL · 引擎特性 · MYSQL Binlog Cache详解

相关 MySQL binlog详解以及使用binlog恢复数据

相关 mysql更改binlog模式_mysql设置binlog

相关 Java监听mysql的binlog详解(mysql-binlog-connector)

相关 MySQL binlog

相关 MySql binlog日志详解

相关 mysql的binlog详解

相关 mysql的binlog详解

相关 MySQL binlog

相关 MySQL---binlog