rsync+inotify_远程同步

雨点打透心脏的1/2处 2021-07-27 02:35 644阅读 0赞

### rsync+inotify ###

*  一.rsync
 *   *   *  1.概述
         *  2.Rsync服务器
         *  3.同步方式
         *  1）全量备份
         *  2）增量备份
         *  3）本地复制
         *  reync本地复制区别
     *  二.配置rsync源
     *   *  1.基本思路
         *  2.rsync命令
         *  3.配置源的两种表达方式
         *  4.免交互格式
         *  三.inotify
         *  1.调整inotify内核参数(优化）
     *  2.使用inotify-tools辅助工具
     *   *  3.编写同步脚本
         *  四.配置reync下行同步
         *  1.Master(192.168.133.10)
         *  1)关闭防火墙、安装相关软件
         *  2）建立/etc/reyncd.conf配置文件
         *  3）为备份账号创建数据文件
         *  4)保证所有用户对源目录/var/www/html（需要备份的文件目录)所有读取权限
         *  5）启动rsync服务程序
         *  2.slave(192.168.133.20)
         *  3.验证
         *  五.rsync+inotify实时同步
         *  Master（192.168.163.10）
         *  slave(192.168.133.20）
         *  1）调整inotify内核参数
         *  2）安装inotify-tools
         *  3)编写触发式同步脚本
         *  验证
     *  总结：
     *   *   *  rsync:
         *  inotify:

# 一.rsync #

### 1.概述 ###

开源的快速增量备份工具
    支持本地复制
    本地原创数据同步备份
    与其他ssh，rsync主机同步

### 2.Rsync服务器 ###

*  是一款开源、快速、多功能的、可实现全量及增量的本地或远程数据同步备份的工具
 *  可不进行改变数据的属性信息，实现数据的备份迁移特征
 *  适用于unix/linux/windows等多种操作系统平台
 *  快速，通用文件复制工具，可实现本地复制，或者远程守护进程方式复制
 *  rsync监听端口：873
 *  reync运行模式：c/s

### 3.同步方式 ###

### 1）全量备份 ###

*  所有数据全部传送
 *  把原来的文件和新的文件一起传送
 *  全量复制，效率低

### 2）增量备份 ###

*  在传输数据之前通过一些算法，通过你有的数据数据进行对比，把不一样的数据通过网络传输
 *  效率比较高

### 3）本地复制 ###

*  类似于cp命令，将目录里的文件归档，压缩拷贝，并显示详细信息

### reync本地复制区别 ###

rsync /abc/opt 
    复制目录

rsync /abc/ /opt
    复制目录中的文件(不复制目录)

## 二.配置rsync源 ##

### 1.基本思路 ###

1.建立rsyncd.conf配置文件、独立的rsunc账号文件

配置文件rsyncd.conf
        需手动配置，语法类似于Samba配置
        认证配置auth users、secrets file，不加则为匿名
    rsync账号文件
        采用“用户名：密码”的格式记录，每行一个用户记录
        独立的账号数据，不依赖系统账号

2.启用rsync服务

通过 --daemon独自提供服务：rsync --daemon
    可以通过执行kill $(cat /var/run/rsyncd.pid)关闭服务

### 2.rsync命令 ###

常用选项：

<table> 
 <thead> 
  <tr> 
   <th>-r</th> 
   <th>递归模式，包含目录及子目录中所有文件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-l</td> 
   <td>对于符号链接文件仍然复制</td> 
  </tr> 
  <tr> 
   <td>-v</td> 
   <td>显示同步过程的详细信息</td> 
  </tr> 
  <tr> 
   <td>-z</td> 
   <td>在传输文件时进行压缩</td> 
  </tr> 
  <tr> 
   <td>-a</td> 
   <td>归档模式保留文件的权限，属性等信息</td> 
  </tr> 
  <tr> 
   <td>-H</td> 
   <td>保留硬连接文件</td> 
  </tr> 
  <tr> 
   <td>-A</td> 
   <td>保留ACL属性信息</td> 
  </tr> 
  <tr> 
   <td>-D</td> 
   <td>保留设备文件及其他特殊文件</td> 
  </tr> 
  <tr> 
   <td>–delete</td> 
   <td>删除目标位置有原始位置没有的文件</td> 
  </tr> 
  <tr> 
   <td>–checksum</td> 
   <td>根据对象校验，来决定是否跳过文件</td> 
  </tr> 
 </tbody> 
</table>

### 3.配置源的两种表达方式 ###

*  将指定的资源下载到本地/root 目录下进行备份。

格式1：

用户名@主机地址::共享模块名
    例如：
    backuper@192.168.133.10::wwwroot /opt

格式2：

rsync://用户名@主机地址/共享模块名
    例如：
    rsync://backuper@192.168.133.10/wwwroot /opt

### 4.免交互格式 ###

echo "密码" > /etc/密码文件
    chmod 600 /etc/密码文件
    
    #设置周期性任务
    crontab -e
    30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/密码文件 backuper@192.168.133.10::wwwroot /opt
    
    systemctl restart crond
    systemctl enable crond

### 三.inotify ###

inotify是一个linux内核特征
    监控文件系统的变动情况，
    并做出通知响应

*  inotify：持续监控的一种工具，文件修改更新的操作
 *  rsync+inotify结合：触发式备份(实时同步），更适合上行同步(本地)
 *  原文档发生变化，进行增量备份

### 1.调整inotify内核参数(优化） ###

/etc/sysctl.conf(内核参数配置文件)，需要配置：

max\_queue\_events ：监控事件队列大小  
max\_user\_instances ：最多监控实例  
max\_user\_watches ：每个实例最多监控文件数  
配置的监控数量应该大于监控目标的总文件数

例如：
    vim /etc/sysctl.conf
    max_queue_events = 16384
    max_user_instances = 1024
    max_user_watches = 1048576

## 2.使用inotify-tools辅助工具 ##

inotifywait：用于持续监控，实时输出结果

*  可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。

inotifywatch：用于短期监控，任务完成后再输出结果

*  可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况

例：
    inotifywait -mrq -e modify,create,attrib,move,delete 文件或目录
    
    #---------参数解释------------
    -m	持续进行监控
    -r	递归监控所有子对象
    -q	简化输出信息
    -e	指定要监控哪些事件类型
    modify	修改
    create	创建
    attrib  属性更改
    move	移动
    delete	删除

### 3.编写同步脚本 ###

编写思路：  
1.先设置两个变量：监控和执行备份  
2.使用while 、read持续获取监控结果  
3.根据结果判断，执行不同的操作

vim /opt/inotify_rsynx.sh
    #!/bin/bash
    #定义两个变量：监控文件，执行备份
    INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete 需要监控的目录或文件"
    RSYNC_CMD="rsync -azH --delete --password-file=/etc/密码文件 刚才监控的目录或文件 用户名@主机地址::共享模块名"
     
     #while read获取监控结果
    $INOTIFY_CMD | while read DIRECTORY EVENT FILE
    do 
        #如果rsync没有运行，执行rsync进行备份操作
        if [ $(pgrep rsync | wc -l) -eq 0 ] ; then
            $RSYNC_CMD
    	fi
    done

### 四.配置reync下行同步 ###

下行同步：将master服务器数据备份到slave服务器

<table> 
 <thead> 
  <tr> 
   <th>主机</th> 
   <th>操作系统</th> 
   <th>ip地址</th> 
   <th>安装包</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>master</td> 
   <td>centos7</td> 
   <td>192.168.133.10</td> 
   <td>rsync</td> 
  </tr> 
  <tr> 
   <td>slave</td> 
   <td>centos7</td> 
   <td>192.168.133.20</td> 
   <td>rsync / inotify-tools-3.14.tar.gz</td> 
  </tr> 
 </tbody> 
</table>

### 1.Master(192.168.133.10) ###

### 1)关闭防火墙、安装相关软件 ###

systemctl stop firewalld.service 
    setenforce 0
    #检查是否安装，一般系统已默认安装rsync
    rpm -q rsync
    yum -y install rsync

![在这里插入图片描述][20210510153618304.png_pic_center]

### 2）建立/etc/reyncd.conf配置文件 ###

如采用匿名的方式，只要将下面配置中的“auth users”和“secrets file”配置项去掉即可。

vim /etc/rsyncd.conf
    uid = root
    gid = root
    use chroot = yes
    address = 192.168.133.10
    port 873
    log file = /var/log/rsyncd.log
    pid file = /var/run/rsyncd.pid
    hosts allow = 192.168.163.0/24
    [wwwroot]
    path = /var/www/html
    comment = Document Root of www.test.com
    read only = yes
    dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
    auth users = backuper lisi
    secrets file = /etc/rsyncd_users.db
    #---------配置解释----------------------------------------------
    uid = root					     
    gid = root					    
    use chroot = yes					#禁锢在源目录
    address = 192.168.133.10			#监听地址，监听本机地址
    port 873						    #监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
    log file = /var/log/rsyncd.log		#日志文件位置
    pid file = /var/run/rsyncd.pid		#存放进程 ID 的文件位置
    hosts allow = 192.168.163.0/24		#允许同步的客户机网段
    [wwwroot]					        #共享模块名称
    path = /var/www/html				#源目录的实际路径（同步的目录）
    comment = Document Root of www.test.com
    read only = yes					    #是否为只读
    dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z  #同步时不再压缩的文件类型
    auth users = backuper lisi			#授权账户，多个账号以空格分隔
    secrets file = /etc/rsyncd_users.db			      #存放账户信息的数据文件

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center]

### 3）为备份账号创建数据文件 ###

*  无需建立同名系统用户

vim /etc/rsyncd_users.db
    zhangsan:1234abc
    
    chmod 600 /etc/rsyncd_users.db

![在这里插入图片描述][20210510162408239.png_pic_center]

![在这里插入图片描述][20210510154828458.png_pic_center]

### 4)保证所有用户对源目录/var/www/html（需要备份的文件目录)所有读取权限 ###

yum -y install 
    
    chmod +r /var/www/html
    ls -ld /var/www/html

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 1]

### 5）启动rsync服务程序 ###

*  启动 rsync 服务，以独立监听服务的方式（守护进程）运行

rsync --daemon
    netstat -natp | grep rsync

![在这里插入图片描述][20210510162433355.png_pic_center]

关闭 rsync 服务

kill $(cat /var/run/rsyncd.pid)
    rm -rf /var/run/rsyncd.pid

### 2.slave(192.168.133.20) ###

systemctl stop firewalld.service
    setenforce 0
    
    yum -y install rsync
    
    cd /opt
    mkdir abc
    chmod 777 abc
    
    vim /etc/server.pass
    123abc
    
    chmod 600 /etc/server.pass

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 3]  
![在这里插入图片描述][20210510163521344.png_pic_center]

### 3.验证 ###

master(192.168.133.10）

cd /var/www/html/
    vim 1.html

![在这里插入图片描述][20210510163915651.png_pic_center]

slave（192.168.133.20)

rsync -az --delete --password-file=/etc/server.pass lisi@192.168.133.10::wwwroot /opt/abc
    
    ls abc

![在这里插入图片描述][20210510164435385.png_pic_center]

*  企业中不可能手动执行，一般都要使用周期性任务

#设置周期性任务
    crontab -e
    0 2 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass lisi@192.168.133.10::wwwroot /opt/abc
    
    systemctl restart crond
    systemctl enable crond

### 五.rsync+inotify实时同步 ###

### Master（192.168.163.10） ###

*  修改rsync源服务器配置文件

vim /etc/rsyncd.conf
    #关闭只读，上行同步需要可以写
    read only = no
    
    #重启服务
    kill `cat /var/run/rsyncd.pid`
    netstat -natp | grep rsync
    rsync --daemon
    netstat -natp | grep rsync
     
    chmod 777 /var/www/html

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 5]

### slave(192.168.133.20） ###

### 1）调整inotify内核参数 ###

*  max\_queue\_events（监控事件队列，默认值为16384）
 *  max\_user\_instances（最多监控实例数，默认值为128）
 *  max\_user\_watches（每个实例最多监控文件数，默认值为8192）
 *  当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。

cat /proc/sys/fs/inotify/max_queued_events
    cat /proc/sys/fs/inotify/max_user_instances
    cat /proc/sys/fs/inotify/max_user_watches
    
    vim /etc/sysctl.conf
    fs.inotify.max_queued_events = 17000
    fs.inotify.max_user_instances = 1024
    fs.inotify.max_user_watches = 1048576
    
    sysctl -p

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 6]  
![在这里插入图片描述][20210510171251521.png_pic_center]

### 2）安装inotify-tools ###

yum -y install gcc gcc-c++ make
    
    #放入安装包
    tar zxvf inotify-tools-3.14.tar.gz -C /opt
    
    cd /opt/inotify-tools-3.14/
    ./configure && make && make install

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 7]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 8]

![在这里插入图片描述][20210510172849235.png_pic_center]

### 3)编写触发式同步脚本 ###

vim /opt/inotify_rsync.sh
    #!/bin/bash
    INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/abc/"
    RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/abc/ lisi@192.168.163.10::wwwroot"
    
    $INOTIFY_CMD | while read DIRECTORY EVENT FILE
    do
        if [ $(pgrep rsync | wc -l) -le 0 ] ; then
            $RSYNC_CMD
    	fi
    done
    
    cd /opt/
    chmod +x inotify_rsync.sh
    . /opt/inotify_rsync.sh &
    
    #加入开机自动执行
    chmod +x /etc/rc.d/rc.local
    echo '/opt/inotify_rsync.sh' >> /etc/rc.d/rc.local

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 10]

### 验证 ###

slave(192.168.133.20)

cd /opt/abc
    touch test.html
    ls
    rm -rf test.html
    ls

master(192.168.133.10)

cd /var/www/html
    ls

验证同步是否搭建成功：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 11]

## 总结： ##

#### rsync: ####

*  增量备份的工具 支持本地复制，本地原创数据同步备份 与其他ssh,rsync主机同步
 *  不进行改变原有数据的属性信息，实现数据备份迁移

reync本地复制区别：

*  rsync /abc/opt  
    复制目录
 *  rsync /abc/ /opt  
    复制目录中的文件(不复制目录)

### inotify: ###

*  inotify:持续监控的一种工具，文件修改更新的操作
 *  rsync+inotify结合：触发式备份（实时同步)，更适合上行同步(本地)
 *  原文档发生变化，进行增量备份

rsync:实现复制，本地当作cp使用，复制跨服务器远端的文件
    inotify:远端的目录进行监控，增删改，会触发rsync同步
    使用shell脚本，定义两个变量，耦合服务，进行两个结合使用

Inotify 是一个 Linux特性，它监控文件系统操作，比如读取、写入和创建。Inotify 反应灵敏，用法非常简单，并且比 cron 任务的繁忙轮询高效得多。

需求：

*  1.有一个文件采集进程，需要对日志文件进行采集，日志文件可能会被删除，可能会被移动。
 *  2.我们都知道文件一旦被删除或者移动，那么进程使用原有打开的文件fd就无法继续读取文件数据。
 *  3.那么就需要监控文件的创建，移动，删除等状态，以便重新打开文件，所以需要使用Inotify来做这件事。

[20210510153618304.png_pic_center]: /images/20210726/51394518a7bb4383830ba7ba7baaf019.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center]: /images/20210726/c213fcf80b494416861dae573b492b19.png
[20210510162408239.png_pic_center]: /images/20210726/ce91ce88028b4c90aa54918ca0bd9c60.png
[20210510154828458.png_pic_center]: /images/20210726/4c0f08c09c69499583bd98a39320be8f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20210726/45b06257834d4b07a3f6f124d26bc335.png
[20210510162433355.png_pic_center]: /images/20210726/030efa115bfe456ab24e79f395eae172.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20210726/d5a722f06fb24fc2b09ae6a3466d234d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20210726/110d0fad137c49958883a4da13f69038.png
[20210510163521344.png_pic_center]: /images/20210726/8d6c1dd01ef74f9f85b09a8a92fb5095.png
[20210510163915651.png_pic_center]: /images/20210726/c22ef31b5535495cb8919916cde52ea8.png
[20210510164435385.png_pic_center]: /images/20210726/7073495a59c9428c915d3a5c33af9a54.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20210726/d26a9261b47a401aadbdc084adb4ac9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20210726/0b5821cf79d546f8b10285d7c1c1faef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20210726/461a403cdda146e69a3dc973d94d8216.png
[20210510171251521.png_pic_center]: /images/20210726/255cfe9e3ec447f1bdda4b4dd7f73331.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20210726/182f7c98154845408d2d59fc221a3b43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20210726/2ce79c907a4c46b29f9ed1915c4df36b.png
[20210510172849235.png_pic_center]: /images/20210726/662cf8d6865e4f7aa34d51afd015a824.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20210726/597b5e8ae08e4e96be2d8756e449bfc9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20210726/958fd0fc66ed4d15b11fb612b548df2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20210726/ae4389ee794f43c9b0da043a9873575d.png