数据库｜监控告警处理之tidb_server_critical_error_total

偏执的太偏执、 2023-10-09 18:25 2阅读 0赞

#### 目录 ####

*  一、背景
 *  二、原理分析
 *  三、现象
 *  四、处理方式
 *   *   *  情况一：同步任务取消
         *  情况二：文件同步任务异常
         *  情况三：灾备同步任务异常，官方文档
 *  五、skip binlog出现的常见情况
 *   *   *  1、pump磁盘空间满了
         *  2、大事物超过grpc限制
 *  六、延伸问题

## 一、背景 ##

监控面板中tidb\_server\_critical\_error\_total不为0，存在其它数值，表明binlog写入失败，会影响下游系统同步，需要修正。

## 二、原理分析 ##

**官方文档binlog.ignor-error介绍**![image.png][]

**实际使用中，在使用pump、drainer组件往下游同步数据的时候，我们为保护主库运行，把binlog.ignore-error参数开启，避免因binlog写入失败导致tidb主集群处于不可用状态。**

题外话：**不要拉踩**，Oracle DataGuard是通过archive模式进行同步的，存在一个归档空间满，主库hang住的情况。相较于Oracle，tidb多了一个选择，可以丢弃归档日志保障主库业务的连续性，不保证下游数据和上游数据一致性。

## 三、现象 ##

1.监控位置：Tidb---->server---->skip binlog coun![image.png][image.png 1]  
2.curl http://127.0.0.1:10080/info/all  
![image.png][image.png 2]  
3.查看binlog\_status 状态，此时一般为 skipping

## 四、处理方式 ##

**考虑下游同步的三种情况，分别处理**

#### 情况一：同步任务取消 ####

不再需要将数据同步到某个下游，所以下线对应的 Pump\\Drainer。

1.  编辑集群配置文件

> tiup cluster edit-config \{cluster\_name\}

2.打开集群配置文件，在server\_config下，tidb下添加或修改配置

binlog.enable: false

1.  滚动重启tidb-server

> tiup cluster reload \{cluster\_name\} -R tidb

1.  执行命令

> mysql -uroot -h \{host\} -P \{port\} -p \{passwd\} -e “SHOW CONFIG WHERE type =‘tidb’ and name like ‘binlog%’”

验证两指标binlog.enable和binlog.ignore-error的状态为true

#### 情况二：文件同步任务异常 ####

drainer同步方式为file文件，下游读取文件异常。

修复过程（二选一）：

1.  使用 tidb-server 的 API，然后尽快安排重新全备。

在tidb服务器上对binlog进行recover，

> curl [*http://\{TiDBIP\}:10080/binlog/recover*][http_TiDBIP_10080_binlog_recover]

![image.png][image.png 3]

1.  重启 tidb-server，然后尽快安排重新全备。

#### 情况三：灾备同步任务异常，官方文档 ####

drainer同步方式为binlog文件，灾备中备库数据异常。  
image.png  
![在这里插入图片描述][c8254c17c1ab450bb7e1956134eea33a.png_pic_center]  
恢复后查看监控checkpoint是否变化，若变化则正常。

## 五、skip binlog出现的常见情况 ##

#### 1、pump磁盘空间满了 ####

导数时需要注意日志空间，同时需要关注pump中stop-write-at-available-space参数，默认为10G。有可能不是空间满，而是pump参数设置不合理导致。

![image.png][image.png 4]

#### 2、大事物超过grpc限制 ####

引用官档

![image.png][image.png 5]

## 六、延伸问题 ##

skip的binlog如果存在ddl，会导致drainer异常重启，报错 not found table id

社区案例：[https://asktug.com/t/topic/575578/1][https_asktug.com_t_topic_575578_1]

***版权声明:本文由神州数码云基地团队整理撰写，若转载请注明出处。  
公众号搜索神州数码云基地，后台回复数据库，加入数据库技术交流群。***

[image.png]: https://img-blog.csdnimg.cn/img_convert/aa8d63ea41de98420e5aba7148dc1f9e.png
[image.png 1]: https://img-blog.csdnimg.cn/img_convert/d290472699516ce40bdd1c0597be6780.png
[image.png 2]: https://img-blog.csdnimg.cn/img_convert/618476aef18964d7fc39a4c1fafd6cc2.png
[http_TiDBIP_10080_binlog_recover]: http://%7BTiDBIP%7D:10080/binlog/recover
[image.png 3]: https://img-blog.csdnimg.cn/img_convert/2125bec6f9d3c95cdd2bb40a8adfe157.png
[c8254c17c1ab450bb7e1956134eea33a.png_pic_center]: https://img-blog.csdnimg.cn/c8254c17c1ab450bb7e1956134eea33a.png#pic_center
[image.png 4]: https://img-blog.csdnimg.cn/img_convert/b2b8787363185c5824efc48c890129d0.png
[image.png 5]: https://img-blog.csdnimg.cn/img_convert/ce449beb9bb025ba439837f46f83aca6.png
[https_asktug.com_t_topic_575578_1]: https://asktug.com/t/topic/575578/1