MySQL 5.6 GTID 原理以及使用

你的名字 2022-05-21 08:57 109阅读 0赞

### 转自：http://hamilton.duapp.com/detail?articleId=47 ###

## ##

### 简介 ###

GTID是MySQL 5.6的新特性，其全称是Global Transaction Identifier，可简化MySQL的主从切换以及Failover。GTID用于在binlog中唯一标识一个事务。当事务提交时，MySQL Server在写binlog的时候，会先写一个特殊的Binlog Event，类型为GTID\_Event，指定下一个事务的GTID，然后再写事务的Binlog。主从同步时GTID\_Event和事务的Binlog都会传递到从库，从库在执行的时候也是用同样的GTID写binlog，这样主从同步以后，就可通过GTID确定从库同步到的位置了。也就是说，无论是级联情况，还是一主多从情况，都可以通过GTID自动找点儿，而无需像之前那样通过File\_name和File\_position找点儿了。

### GTID的表示 ###

MySQL 5.6使用server\_uuid和transaction\_id两个共同组成一个GTID。即：GTID = server\_uuid:transaction\_id

server\_uuid是MySQL Server的只读变量，保存在数据目录下的auto.cnf中，可直接通过cat命令查看。MySQL第一次启动时候创建auto.cnf文件，并生成server\_uuid（MySQL使用机器网卡，当前时间，随机数等拼接成一个128bit的uuid，可认为在全宇宙都是唯一的，在未来一百年，使用同样的算法生成的uuid是不会冲突的）。之后MySQL再启动时不会重复生成uuid，而是使用auto.cnf中的uuid。也可以通过MySQL客户端使用如下命令查看server\_uuid，看到的实际上是server\_uuid的十六进制编码，总共16字节（其中uuid中的横线只是为了便于查看，并没有实际意义）。

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code>mysql&gt;&nbsp;show&nbsp;</code> 
      <code>global</code>&nbsp; 
      <code>variables&nbsp;</code> 
      <code>like</code>&nbsp; 
      <code>'server_uuid'</code> 
      <code>;</code> 
     </div> 
     <div> 
      <code>+</code> 
      <code>---------------+--------------------------------------+</code> 
     </div> 
     <div> 
      <code>|&nbsp;Variable_name&nbsp;|&nbsp;Value&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|</code> 
     </div> 
     <div> 
      <code>+</code> 
      <code>---------------+--------------------------------------+</code> 
     </div> 
     <div> 
      <code>|&nbsp;server_uuid&nbsp;&nbsp;&nbsp;|&nbsp;b3485508-883f-11e5-85fb-e41f136aba3e&nbsp;|</code> 
     </div> 
     <div> 
      <code>+</code> 
      <code>---------------+--------------------------------------+</code> 
     </div> 
     <div> 
      <code>1&nbsp;row&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>set</code>&nbsp; 
      <code>(0.00&nbsp;sec)</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

在同一个集群内，每个MySQL实例的server\_uuid必须唯一，否则同步时，会造成IO线程不停的中断，重连。在通过备份恢复数据时，一定要将var目录中的auto.cnf删掉，让MySQL启动时自己生成uuid。

GTID中还有一部分是transaction\_id，同一个server\_uuid下的transaction\_id一般是递增的。如果一个事务是通过用户线程执行，那么MySQL在生成的GTID时，会使用它自己的server\_uuid，然后再递增一个transaction\_id作为该事务的GTID。当然，如果事务是通过SQL线程回放relay-log时产生，那么GTID就直接使用binlog里的了。在MySQL 5.6中不用担心binlog里没有GTID，因为如果从库开启了GTID模式，主库也必须开启，否则IO线程在建立连接的时候就中断了。5.6的GTID对MySQL的集群环境要求是非常严格的，要么主从全部开启GTID模式，要么全部关闭GTID模式。

刚才提到，同一个server\_uuid下的transaction\_id一般是递增的，难道在某些情况下不是递增的吗？答案是肯定的。MySQL支持通过设置Session级别的变量gtid\_next，来指定下一个事务的GTID，格式就是‘server\_uuid:transaction\_id'。之后还可以改回AUTOMATIC（默认值）

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code>mysql&gt;&nbsp;</code> 
      <code>set</code>&nbsp; 
      <code>gtid_next&nbsp;=&nbsp;</code> 
      <code>'b694c8b2-883f-11e5-85fb-e41f136aba3e:12000005'</code> 
      <code>;</code> 
     </div> 
     <div> 
      <code>Query&nbsp;OK,&nbsp;0&nbsp;</code> 
      <code>rows</code>&nbsp; 
      <code>affected&nbsp;(0.00&nbsp;sec)</code> 
     </div> 
     <div> 
      <code>mysql&gt;&nbsp;</code> 
      <code>begin</code> 
      <code>;</code> 
     </div> 
     <div> 
      <code>Query&nbsp;OK,&nbsp;0&nbsp;</code> 
      <code>rows</code>&nbsp; 
      <code>affected&nbsp;(0.00&nbsp;sec)</code> 
     </div> 
     <div> 
      <code>mysql&gt;&nbsp;</code> 
      <code>commit</code> 
      <code>;</code> 
     </div> 
     <div> 
      <code>Query&nbsp;OK,&nbsp;0&nbsp;</code> 
      <code>rows</code>&nbsp; 
      <code>affected&nbsp;(0.00&nbsp;sec)</code> 
     </div> 
     <div> 
      <code>mysql&gt;&nbsp;</code> 
      <code>set</code>&nbsp; 
      <code>gtid_next&nbsp;=&nbsp;AUTOMATIC;</code> 
     </div> 
     <div> 
      <code>Query&nbsp;OK,&nbsp;0&nbsp;</code> 
      <code>rows</code>&nbsp; 
      <code>affected&nbsp;(0.00&nbsp;sec)</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

一般设置gtid\_next是加1，用于主从同步时跳过一个事务。但是如果设置gtid\_next之后，导致当前server\_uuid下的transaction\_id不连续，那么坑爹的地方也就出现了。在改回AUTOMATIC以后，再有事务执行时，MySQL生成transaction\_id时，不是按当前最大的transaction\_id继续增长，而是补缺口（使用最小的缺失的那个transaction\_id作为下一个gtid）。这样的话，即使是同一个server\_uuid，也不能通过transaction\_id的大小来判断事务的顺序。

使用server\_uuid:transaction\_id共同组成一个GTID的好处是，由于server\_uuid唯一，即使一个集群内多个节点同时有写入，也不会造成GTID冲突。

### GTID的使用 ###

MySQL通过全局变量gtid\_mode控制开启/关闭GTID模式。但是gtid\_mode是只读的，可添加到配置文件中，然后重启mysqld来开启GTID模式。相关配置项如下：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code>gtid-mode&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;ON</code> 
     </div> 
     <div> 
      <code>enforce_gtid_consistency&nbsp;=&nbsp;1</code> 
     </div> 
     <div> 
      <code>log-slave-updates&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;1</code> 
     </div> 
     <div> 
      <code>log-bin&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;mysql-bin</code> 
     </div> 
     <div> 
      <code>log-bin-index&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;mysql-bin.index</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

配置方式为gtid\_mode=ON/OFF。让人诧异的是gtid\_mode的类型为枚举类型，枚举值可以为ON和OFF，所以应该通过ON或者OFF来控制gtid\_mode，不要把它配置成0或者1，否则结果可能不符合你的预期。开启gtid\_mode时，log-bin和log-slave-updates也必须开启，否则MySQL Server拒绝启动。除此以外，enforce-gtid-consistency也必须开启，否则MySQL Server也拒绝启动。enforce-gtid-consistency是因为开启grid\_mode以后，许多MySQL的SQL和GTID是不兼容的。比如开启ROW 格式时，CREATE TABLE ... SELECT，在binlog中会形成2个不同的事务，GTID无法唯一。另外在事务中更新MyISAM表也是不允许的。

刚才已经提到，当开启GTID模式时，集群中的全部MySQL Server必须同时配置gtid\_mod = ON，否则无法同步。

一旦使用GTID模式同步以后，主从切换就可以使用GTID来自动找点儿了，使用方式是在CHANGE MASTER时指定MASTER\_AUTO\_POSITION=1。命令如下：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code>mysql&gt;&nbsp;CHANGE&nbsp;MASTER&nbsp;</code> 
      <code>TO</code>&nbsp; 
      <code>\</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>-&gt;&nbsp;MASTER_HOST&nbsp;=&nbsp;</code> 
      <code>''</code> 
      <code>,&nbsp;\</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>-&gt;&nbsp;MASTER_PORT&nbsp;=&nbsp;3306,&nbsp;\</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>-&gt;&nbsp;MASTER_USER&nbsp;=&nbsp;</code> 
      <code>'test'</code> 
      <code>,&nbsp;\</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>-&gt;&nbsp;MASTER_PASSWORD&nbsp;=&nbsp;</code> 
      <code>''</code> 
      <code>,&nbsp;\</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>-&gt;&nbsp;MASTER_AUTO_POSITION&nbsp;=&nbsp;1;</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

通过SHOW SLAVE STATUS也可以看到Auto\_Position: 1，说明以后START SLAVE将使用GTID自动找点儿，开启GTID之后原理上还支持使用FileName和FilePosition的方式找点儿，但是不建议使用。如果非要使用的话，在CHANGE MASTER的时候要指定MASTER\_AUTO\_POSITION=0

MySQL通过若干变量可以查看GTID的执行情况

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code>mysql&gt;&nbsp;show&nbsp;</code> 
      <code>global</code>&nbsp; 
      <code>variables&nbsp;</code> 
      <code>like</code>&nbsp; 
      <code>'gtid_%'</code> 
      <code>;</code> 
     </div> 
     <div> 
      <code>+</code> 
      <code>---------------+----------------------------------------------------------------------------------------------+</code> 
     </div> 
     <div> 
      <code>|&nbsp;Variable_name&nbsp;|&nbsp;Value&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|</code> 
     </div> 
     <div> 
      <code>+</code> 
      <code>---------------+----------------------------------------------------------------------------------------------+</code> 
     </div> 
     <div> 
      <code>|&nbsp;gtid_executed&nbsp;|&nbsp;b694c8b2-883f-11e5-85fb-e41f136aba3e:1-10114525:12000000-12000005&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|</code> 
     </div> 
     <div> 
      <code>|&nbsp;gtid_mode&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;</code> 
      <code>ON</code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      <code>|</code> 
     </div> 
     <div> 
      <code>|&nbsp;gtid_owned&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;b694c8b2-883f-11e5-85fb-e41f136aba3e:10114523#10:10114525#6:10114521#5:10114524#8:10114522#4&nbsp;|</code> 
     </div> 
     <div> 
      <code>|&nbsp;gtid_purged&nbsp;&nbsp;&nbsp;|&nbsp;b694c8b2-883f-11e5-85fb-e41f136aba3e:1-8993295&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|</code> 
     </div> 
     <div> 
      <code>+</code> 
      <code>---------------+----------------------------------------------------------------------------------------------+</code> 
     </div> 
     <div> 
      <code>4&nbsp;</code> 
      <code>rows</code>&nbsp; 
      <code>in</code>&nbsp; 
      <code>set</code>&nbsp; 
      <code>(0.00&nbsp;sec)</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

这里有4个变量，其中gtid\_mode已经介绍过了，其他3个变量的含义如下

gtid\_executed：这既是一个Global级别的变量，又是一个Session级别的变量，是只读变量。Global级别的gtid\_executed表示当前实例已经执行过的GTID集合。Session级别的gtid\_executed一般情况下是空的。

gtid\_owned：这既是一个Global级别的变量，又是一个Session级别的变量，是只读变量。Global级别的gtid\_owned表示当前实例正在执行中的GTID，以及对应的线程id。Session级别的gtid\_owned一般情况下是空的。

gtid\_purged：这是一个Global级别的变量，可动态修改。我们知道binlog可以被purge掉，gtid\_purged表示当前实例中已经被purge掉的GTID集合，很明显gtid\_purged是gtid\_executed的子集。但是gtid\_purged也不是可以随意修改的，必须在@@global.gtid\_executed是空的情况下，才可以动态设置gtid\_purged。

### GTID相关Binlog ###

通过前面的介绍可以知道，GTID可以在binlog中唯一标识一个事务，要了解GTID找点儿原理，就必须知道Binlog的格式，首先看一段Binlog

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> 
    <div>
      11 
    </div> 
    <div>
      12 
    </div> 
    <div>
      13 
    </div> 
    <div>
      14 
    </div> 
    <div>
      15 
    </div> 
    <div>
      16 
    </div> 
    <div>
      17 
    </div> 
    <div>
      18 
    </div> 
    <div>
      19 
    </div> 
    <div>
      20 
    </div> 
    <div>
      21 
    </div> 
    <div>
      22 
    </div> 
    <div>
      23 
    </div> 
    <div>
      24 
    </div> 
    <div>
      25 
    </div> 
    <div>
      26 
    </div> 
    <div>
      27 
    </div> 
    <div>
      28 
    </div> 
    <div>
      29 
    </div> 
    <div>
      30 
    </div> 
    <div>
      31 
    </div> 
    <div>
      32 
    </div> 
    <div>
      33 
    </div> 
    <div>
      34 
    </div> 
    <div>
      35 
    </div> 
    <div>
      36 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code>#&nbsp;</code> 
      <code>at</code>&nbsp; 
      <code>120</code> 
     </div> 
     <div> 
      <code>#151222&nbsp;&nbsp;9:07:58&nbsp;server&nbsp;id&nbsp;1026872634&nbsp;&nbsp;end_log_pos&nbsp;247&nbsp;CRC32&nbsp;0xedf993a8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Previous-GTIDs</code> 
     </div> 
     <div> 
      <code>#&nbsp;b3485508-883f-11e5-85fb-e41f136aba3e:1-14,</code> 
     </div> 
     <div> 
      <code>#&nbsp;b694c8b2-883f-11e5-85fb-e41f136aba3e:1-10115960:12000000-12000005</code> 
     </div> 
     <div> 
      <code>#&nbsp;</code> 
      <code>at</code>&nbsp; 
      <code>247</code> 
     </div> 
     <div> 
      <code>#151222&nbsp;&nbsp;9:08:03&nbsp;server&nbsp;id&nbsp;1026872625&nbsp;&nbsp;end_log_pos&nbsp;295&nbsp;CRC32&nbsp;0xc3d3d8ee&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;GTID&nbsp;[</code> 
      <code>commit</code> 
      <code>=yes]</code> 
     </div> 
     <div> 
      <code>SET</code>&nbsp; 
      <code>@@SESSION.GTID_NEXT=&nbsp;</code> 
      <code>'b694c8b2-883f-11e5-85fb-e41f136aba3e:10115961'</code> 
      <code>/*!*/;</code> 
     </div> 
     <div> 
      <code>#&nbsp;</code> 
      <code>at</code>&nbsp; 
      <code>295</code> 
     </div> 
     <div> 
      <code>#151222&nbsp;&nbsp;9:08:03&nbsp;server&nbsp;id&nbsp;1026872625&nbsp;&nbsp;end_log_pos&nbsp;370&nbsp;CRC32&nbsp;0x0a32d229&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Query&nbsp;&nbsp;&nbsp;thread_id=18&nbsp;&nbsp;&nbsp;&nbsp;exec_time=1&nbsp;error_code=0</code> 
     </div> 
     <div> 
      <code>BEGIN</code> 
     </div> 
     <div> 
      <code>/*!*/;</code> 
     </div> 
     <div> 
      <code>#&nbsp;</code> 
      <code>at</code>&nbsp; 
      <code>370</code> 
     </div> 
     <div> 
      <code>#151222&nbsp;&nbsp;9:08:03&nbsp;server&nbsp;id&nbsp;1026872625&nbsp;&nbsp;end_log_pos&nbsp;480&nbsp;CRC32&nbsp;0x3c0e094f&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Query&nbsp;&nbsp;&nbsp;thread_id=18&nbsp;&nbsp;&nbsp;&nbsp;exec_time=1&nbsp;error_code=0</code> 
     </div> 
     <div> 
      <code>use&nbsp;`db`/*!*/;</code> 
     </div> 
     <div> 
      <code>SET</code>&nbsp; 
      <code>TIMESTAMP</code> 
      <code>=1450746483/*!*/;</code> 
     </div> 
     <div> 
      <code>update</code>&nbsp; 
      <code>tb&nbsp;</code> 
      <code>set</code>&nbsp; 
      <code>val&nbsp;=&nbsp;val&nbsp;+&nbsp;1&nbsp;</code> 
      <code>where</code>&nbsp; 
      <code>id&nbsp;=&nbsp;1</code> 
     </div> 
     <div> 
      <code>/*!*/;</code> 
     </div> 
     <div> 
      <code>#&nbsp;</code> 
      <code>at</code>&nbsp; 
      <code>480</code> 
     </div> 
     <div> 
      <code>#151222&nbsp;&nbsp;9:08:03&nbsp;server&nbsp;id&nbsp;1026872625&nbsp;&nbsp;end_log_pos&nbsp;511&nbsp;CRC32&nbsp;0x5772f16b&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Xid&nbsp;=&nbsp;6813913</code> 
     </div> 
     <div> 
      <code>COMMIT</code> 
      <code>/*!*/;</code> 
     </div> 
     <div> 
      <code>#&nbsp;</code> 
      <code>at</code>&nbsp; 
      <code>511</code> 
     </div> 
     <div> 
      <code>#151222&nbsp;&nbsp;9:10:19&nbsp;server&nbsp;id&nbsp;1026872625&nbsp;&nbsp;end_log_pos&nbsp;559&nbsp;CRC32&nbsp;0x3ac30191&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;GTID&nbsp;[</code> 
      <code>commit</code> 
      <code>=yes]</code> 
     </div> 
     <div> 
      <code>SET</code>&nbsp; 
      <code>@@SESSION.GTID_NEXT=&nbsp;</code> 
      <code>'b694c8b2-883f-11e5-85fb-e41f136aba3e:10115962'</code> 
      <code>/*!*/;</code> 
     </div> 
     <div> 
      <code>#&nbsp;</code> 
      <code>at</code>&nbsp; 
      <code>559</code> 
     </div> 
     <div> 
      <code>#151222&nbsp;&nbsp;9:10:19&nbsp;server&nbsp;id&nbsp;1026872625&nbsp;&nbsp;end_log_pos&nbsp;634&nbsp;CRC32&nbsp;0x83a74912&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Query&nbsp;&nbsp;&nbsp;thread_id=18&nbsp;&nbsp;&nbsp;&nbsp;exec_time=0&nbsp;error_code=0</code> 
     </div> 
     <div> 
      <code>SET</code>&nbsp; 
      <code>TIMESTAMP</code> 
      <code>=1450746619/*!*/;</code> 
     </div> 
     <div> 
      <code>BEGIN</code> 
     </div> 
     <div> 
      <code>/*!*/;</code> 
     </div> 
     <div> 
      <code>#&nbsp;</code> 
      <code>at</code>&nbsp; 
      <code>634</code> 
     </div> 
     <div> 
      <code>#151222&nbsp;&nbsp;9:10:19&nbsp;server&nbsp;id&nbsp;1026872625&nbsp;&nbsp;end_log_pos&nbsp;744&nbsp;CRC32&nbsp;0x581f6031&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Query&nbsp;&nbsp;&nbsp;thread_id=18&nbsp;&nbsp;&nbsp;&nbsp;exec_time=0&nbsp;error_code=0</code> 
     </div> 
     <div> 
      <code>SET</code>&nbsp; 
      <code>TIMESTAMP</code> 
      <code>=1450746619/*!*/;</code> 
     </div> 
     <div> 
      <code>update</code>&nbsp; 
      <code>tb&nbsp;</code> 
      <code>set</code>&nbsp; 
      <code>val&nbsp;=&nbsp;val&nbsp;+&nbsp;1&nbsp;</code> 
      <code>where</code>&nbsp; 
      <code>id&nbsp;=&nbsp;1</code> 
     </div> 
     <div> 
      <code>/*!*/;</code> 
     </div> 
     <div> 
      <code>#&nbsp;</code> 
      <code>at</code>&nbsp; 
      <code>744</code> 
     </div> 
     <div> 
      <code>#151222&nbsp;&nbsp;9:10:19&nbsp;server&nbsp;id&nbsp;1026872625&nbsp;&nbsp;end_log_pos&nbsp;775&nbsp;CRC32&nbsp;0x793f8e34&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Xid&nbsp;=&nbsp;6813916</code> 
     </div> 
     <div> 
      <code>COMMIT</code> 
      <code>/*!*/;</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

这段Binlog从文件120偏移处（Format\_description\_log\_event之后的第一个Binlog Event）开始截取。可以看到，第一个Binlog Event的类型为：Previous-GTIDs，它存在于每个binlog文件中。当开启GTID时，每个binlog文件都有且只有一个Previous-GTIDs，位置都是在Format\_description\_log\_event之后的第一个Binlog Event处。它的含义是在当前Binlog文件之前执行过的GTID集合，可以充当索引用，使用这个Binlog Event，可以便于快速判断GTID是否位于当前binlog文件中。

下面看看gtid\_purged和gtid\_executed是如何构造的。MySQL在启动时打开最老的binlog文件，读取其中的Previous-GTIDs，那么就是@@global.gtid\_purged。MySQL在启动时打开最新的binlog文件，读取其中的Previous-GTIDs，构造一个gtid\_set，然后再遍历这个最新的binlog文件，把遇到的每个gtid都添加到gtid\_set中，当文件遍历完成时，这个gtid\_set就是@@global.gtid\_executed。

前面说过只有在@@global.gtid\_executed为空的情况下，才可以动态设置@@global.gtid\_purged。因此可以通过RESET MASTER的方式来清空@@global.gtid\_executed。这一点，类似Ares中的命令：set binlog\_group\_id=XXX, master\_server\_id=YYY with reset;（是会删除binlog的）

通过解析上面的binlog文件，我们也可以看到，每个事务之前，都有一个GTID\_log\_event，用来指定GTID的值。总体来看，一个MySQL binlog的格式大致如下：

![1468141705.92.gtid_binlog_format.png][]

### GTID找点儿原理 ###

我们知道，在未开启GTID模式的情况下，从库用（File\_name和File\_pos）二元组标识执行到的位置。START SLAVE时，从库会先向主库发送一个BINLOG\_DUMP命令，在BINLOG\_DUMP命令中指定File\_name和File\_pos，主库就从这个位置开始发送binlog。

在开启GTID模式的情况下，如果指定MASTER\_AUTO\_POSITION=1。START SLAVE时，从库会计算Retrieved\_Gtid\_Set和Executed\_Gtid\_Set的并集（通过SHOW SLAVE STATUS可以查看），然后把这个GTID并集发送给主库。主库会使用从库请求的GTID集合和自己的gtid\_executed比较，把从库GTID集合里缺失的事务全都发送给从库。如果从库缺失的GTID，已经被主库pruge了呢？从库报1236错误，IO线程中断。

通过GTID找到点儿的原理还是比较奇怪的，它过于强调主从binlog中GTID集合的一致性，弱化了Binlog执行的顺序性。

![1468155132.08.gtid_find_binlog.png][]

考虑下面这种情况，有个集群已经在使用GTID模式同步，小明想给集群增加一台从库，新做完一台从库，数据和主库一致，但是没有binlog，也就是说新从库的@@global.gtid\_executed是空的。但是CHANGE MASTER时可以通过File\_name和File\_pos找到正确的同步点，然后START SLAVE，一切正常。过了一会儿，小明觉得还可以通过MASTER\_AUTO\_POSITION ＝ 1的方式重新CHANGE MASTER，然后再START SLAVE。这种情况下，主库一看从库GTID里少了那么多binlog，然后把全部缺失的binglog再给从库发送一遍，那么悲剧就发生了。

为了解决这个问题，小明新做完从库以后，应该在从库上执行reset master; set global gtid\_purged = 'xxxxx'，把缺失的GTID集合设置为purged，然后就可以直接使用MASTER\_AUTO\_POSITION=1自动找点儿了。

由此可见，开启GTID以后，Binlog和数据文件一样重要，不仅要求主从数据一致，还要求主从Binlog中GTID集合一致。

### GTID注意事项 ###

1）开启GTID以后，无法使用sql\_slave\_skip\_counter跳过事务。前面介绍过了，使用GTID找点儿时，主库会把从库缺失的GTID，发送给从库，所以skip是没有用的。为了提前发现问题，MySQL在gtid模式下，直接禁止使用set global sql\_slave\_skip\_counter ＝ x。正确的做法是，通过set grid\_next= 'zzzz'（'zzzz'为待跳过的事务），然后执行BIGIN;COMMIT产生一个空事务，占据这个GTID，再START SLAVE，会发现下一条事务的GTID已经执行过，就会跳过这个事务了

2）如果一个GTID已经执行过，再遇到重复的GTID，从库会直接跳过，可看作GTID执行的幂等性。

3）使用限制：[https://dev.mysql.com/doc/refman/5.6/en/replication-gtids-restrictions.html][https_dev.mysql.com_doc_refman_5.6_en_replication-gtids-restrictions.html]

业界经验：

1. [https://code.facebook.com/posts/1542273532669494/lessons-from-deploying-mysql-gtid-at-scale/][https_code.facebook.com_posts_1542273532669494_lessons-from-deploying-mysql-gtid-at-scale]

2. [https://www.percona.com/blog/2015/02/10/online-gtid-rollout-now-available-percona-server-5-6/][https_www.percona.com_blog_2015_02_10_online-gtid-rollout-now-available-percona-server-5-6]

[1468141705.92.gtid_binlog_format.png]: /images/20220521/ab5e2ebcfae847b3b75bb1163d651588.png
[1468155132.08.gtid_find_binlog.png]: /images/20220521/b6d478e1f20a495faf8bf7203c15dc3b.png
[https_dev.mysql.com_doc_refman_5.6_en_replication-gtids-restrictions.html]: https://dev.mysql.com/doc/refman/5.6/en/replication-gtids-restrictions.html
[https_code.facebook.com_posts_1542273532669494_lessons-from-deploying-mysql-gtid-at-scale]: https://code.facebook.com/posts/1542273532669494/lessons-from-deploying-mysql-gtid-at-scale/
[https_www.percona.com_blog_2015_02_10_online-gtid-rollout-now-available-percona-server-5-6]: https://www.percona.com/blog/2015/02/10/online-gtid-rollout-now-available-percona-server-5-6/