分享（3）一个使用 xtrabackup 备份 MySQL 数据库的脚本

叁歲伎倆 2024-03-25 23:10 52阅读 0赞

编写目的

使用 xtrabackup 对 MySQL 数据库进行在线备份，并指定轮转次数

说明

因为个人原因，有点强迫症， 喜欢编写能够复用且使用简单的脚本，提供简单的功能， 先是写的oracle备份脚本， 后来陆续写了其他数据库和操作系统的脚本

MySQL 备份先是用的 mysqldump 备份, 后来又写了xtrabackup, mysqlbackup, mysql shell的一共4个 shell 脚本和一个windows bat的脚本， 基本流程大同小异

能看懂脚本的花几分钟基本上也就明白了， 也都在测试环境和生产环境用过，但还是建议根据你的环境测试一下 也许有bug我没测出来，哈哈

为了节省大家时间，也能放心使用，把大概功能略述一下

一 使用时只需要提供备份目的地和轮转次数

备份目的地就不说了

轮转次数. 有点像logrotate，每次备份会在备份目的地生成一个序号命名的子文件夹， 到指定的轮转次数再从头开始

二 临时文件

记录上次备份状态的文件， 主要用于防止上一次备份未结束，定时任务又启动了下一次任务。

记录轮转序号的隐藏文件， 决定下次备份到哪儿，每次备份结束+1, 到最大了再从0开始

日志文件，记录了备份的开始时间，每个库的开始备份时间，结束时间

数据库列表文件，先查询数据库名称并记录于这个文件， 然后挨个备份。 不喜欢整个实例一起备份， 还是分数据库一个一个的好， 个人习惯。

三 执行顺序

先查询数据库， 再挨个备份数据库， 备份完成了，再删除或覆盖废弃的备份(删除写死的15天，可以自己改，覆盖则根据轮转次数)。

四 备份时间

后台备份的话可以看日志文件减一下， 前台执行的话脚本运行结束也会计算运行了多久(开始，结束时间减了一下)

五 速度比较

测试数据库 73G

mysqldump: 花了 34 分钟 备份输出10G

myshell dump 默认压缩 线程4(默认): 花了 30 分钟 备份输出 10G

myshell dump 默认压缩 线程8: 花了 5 分钟 输出 备份输出10G

myshell dump 默认压缩 线程12: 花了 5 分钟 输出 备份输出10G

xtrabackup 默认并行度1: 花了 34 分钟输出73G

合集地址

[分享（1）一个 MySQL Shell 备份数据库的脚本][1_ MySQL Shell]

[分享（2）一个 mysqldump 备份 MySQL 数据库的脚本][2_ mysqldump _ MySQL]

[分享（3）一个 xtrabackup 备份MySQL数据库的脚本][3_ xtrabackup _MySQL]

[分享（4）一个 mysqlbackup 备份MySQL数据库的脚本][4_ mysqlbackup _MySQL]

[分享（5） 一个windows平台 mysqldump 备份MySQL数据库的脚本][5_ _windows_ mysqldump _MySQL]

#!/bin/bash
    
    # =========================================================================
    # (C) Copyright 2003-2033 hoplite
    # =========================================================================
    # Script Purpose : backup mysql database by xtrabackup
    # -------------------------------------------------------------------------
    # instructions
    # 1.setup login-path
    #   create a login-ptah: mysql_config_editor set --login-path=bak -h localhost -P 3306 -uroot -p
    #   list login-path: mysql_config_editor print --all
    #   login test: mysql --login-path=bak
    # 2.setup cron job. note: escape character \ for % must be specified in cron job
    #   example: full backup on Sunday,incremental backup on Mon/Wed/Fri,differential backup on Tues/Thur/Sat
    #   0 0 * * 0     /u01/backup/mysql_xtrabackup.sh bak /u01/backup/xtrabackup/0 full
    #   0 0 * * 1,3,5 /u01/backup/mysql_xtrabackup.sh bak /u01/backup/xtrabackup/`date +"\%w"` incremental /u01/backup/xtrabackup/`date -d yesterday +"\%w"`
    #   0 0 * * 2,4,6 /u01/backup/mysql_xtrabackup.sh bak /u01/backup/xtrabackup/`date +"\%w"` incremental /u01/backup/xtrabackup/0
    
    # Version Date      Description
    # -------------------------------------------------------------------------
    # V1.0              Initial version
    # V1.1 2023-02-14   fix bug
    # =========================================================================
    
    [ -f ~/.bash_profile ] && . ~/.bash_profile
    set -e -u -o pipefail
    
    show_usage ()
    {
      echo "usage: `basename $0` login-path target-basedir backuplevel"
      echo "eg.    `basename $0` bak /u01/backup/xtrabackup full|incremental|differential"
    }
    
    if [ $# -lt 3 ] || [ $# -gt 3 ]; then
       show_usage
       exit 0
    else
      start_time=`date +%F" "%T`
    
      p_loginpath=$1
      p_targetbasedir=$2
      p_backuplevel=$3
    
      v_id=`date +%Y%m%d%H%M%S`
      v_hash=`echo -n ${p_loginpath}|md5sum|cut -f1 -d" "`
      [ -d ${p_targetbasedir} ] || mkdir -p ${p_targetbasedir}
    
      stusfile=${p_targetbasedir}/.status.${v_hash}
      log_file=${p_targetbasedir}/backup.log
      lastbackupfile=${p_targetbasedir}/.lastbackup.${v_hash}
      lastfullbackupfile=${p_targetbasedir}/.lastfullbackup.${v_hash}
      xtra_log=xtrabackup.log
    
      #check last backup result
      if [ -f ${stusfile} ]; then
        if [ `cat ${stusfile}` = "running" ]; then
          loginfo="`date +%F" "%T` ...ERROR:last backup fail, check it,then drop status file and rerun." ; echo ${loginfo} ; echo ${loginfo} >> ${log_file}
          exit 1
        fi
      else
        echo "running" > ${stusfile}
      fi 
    
      #check last backup and last full backup
      v_backuplevel=""
      v_switch2full="N"  #switch to full backup if does not find last bakcup directory or last backup record
      if [ "${p_backuplevel}" = "full" ]; then
        v_switch2full="Y"
      elif [ "${p_backuplevel}" = "incremental" ]; then
        if [ -f ${lastbackupfile} ]; then
          v_lastbackupdir=`cat ${lastbackupfile} `
          if [ -d ${v_lastbackupdir} ]; then
            v_backuplevel="incr"
          else
            v_switch2full="Y"
          fi
        else
          v_switch2full="Y"
        fi
      elif [ "${p_backuplevel}" = "differential" ]; then
        if [ -f ${lastfullbackupfile} ]; then
          v_lastfullbackupdir=`cat ${lastfullbackupfile} `
          if [ -d ${v_lastfullbackupdir} ]; then
            v_backuplevel="diff"
          else
            v_switch2full="Y"
          fi
        else
          v_switch2full="Y"
        fi
      else
       show_usage
       exit 1
      fi
      
      if [ "${v_switch2full}" = "Y" ]; then
        v_backuplevel="full"
      fi
      v_targetdir=${p_targetbasedir}/${v_backuplevel}.${v_id}
      [ -d ${v_targetdir} ] || mkdir -p ${v_targetdir}
      loginfo="`date +%F" "%T` ...start backup to ${v_targetdir}" ; echo ${loginfo} ; echo ${loginfo} >> ${log_file}
    
      if [ "${v_backuplevel}" = "full" ]; then
        xtrabackup --no-defaults --login-path=${p_loginpath} --backup --target-dir=${v_targetdir} > ${v_targetdir}/${xtra_log} 2>&1
        echo ${v_targetdir} > ${lastfullbackupfile}
      elif [ "${v_backuplevel}" = "incr" ]; then
        xtrabackup --no-defaults --login-path=${p_loginpath} --backup --target-dir=${v_targetdir} --incremental-basedir=${v_lastbackupdir} > ${v_targetdir}/${xtra_log} 2>&1
      elif [ "${v_backuplevel}" = "diff" ]; then
        xtrabackup --no-defaults --login-path=${p_loginpath} --backup --target-dir=${v_targetdir} --incremental-basedir=${v_lastfullbackupdir} > ${v_targetdir}/${xtra_log} 2>&1
      fi
      echo ${v_targetdir} > ${lastbackupfile}
      echo "completed" > ${stusfile}
      loginfo="`date +%F" "%T` ...end backup to ${v_targetdir}" ; echo ${loginfo} ; echo ${loginfo} >> ${log_file}
      
      tmpfile=/tmp/.tmpfile.`basename $0`.${v_hash}.${v_id}
      find ${p_targetbasedir} -mtime +15 $ -name "full.20????????????" -o -name "incr.20????????????" -o -name "diff.20????????????" $ -type d > ${tmpfile}
      #eg. /u01/backup/xtrabakcup/full.20230214183657
      while read foldername
      do
        rm -rf "${foldername:-unset}"
        echo "deleted backup folder : ${foldername}"
      done < ${tmpfile}
    
      end_time=`date +%F" "%T`
      t_start_time=`date -d "${start_time}" +%s`
      t_end_time=`date -d "${end_time}" +%s`
      t_diff_secs=$((${t_end_time} - ${t_start_time}))
      t_hours=$((${t_diff_secs}/3600))
      t_mins=$(($((${t_diff_secs}-${t_hours}*3600))/60))
      t_secs=$((${t_diff_secs}%60))
    
      echo
      echo ==================================================
      echo "File Name:`basename $0`    Start Time:${start_time}    End Time:${end_time}    Total Cost:${t_hours}:${t_mins}:${t_secs}"
      echo ==================================================
      echo
    fi

[1_ MySQL Shell]: https://blog.csdn.net/weixin_44496870/article/details/129623027
[2_ mysqldump _ MySQL]: https://blog.csdn.net/weixin_44496870/article/details/129706015
[3_ xtrabackup _MySQL]: https://blog.csdn.net/weixin_44496870/article/details/129706119
[4_ mysqlbackup _MySQL]: https://blog.csdn.net/weixin_44496870/article/details/129706340
[5_ _windows_ mysqldump _MySQL]: https://blog.csdn.net/weixin_44496870/article/details/129706421