数据的实时同步

梦里梦外; 2022-01-11 09:29 411阅读 0赞

# 数据的实时同步 #

要实现数据的实时同步需要利用监控服务inotify，监控同步数据服务器目录中信息的变化，当发现目录中的数据产生变化，就利用rsync服务推送到备份服务器上。  
inotify:异步的文件系统事件监控机制，利用事件驱动机制，而无须通过诸如cron等的 轮询机制来获取事件，linux内核从2.6.13起支持 inotify，通过inotify可以监控文 件系统中添加、删除、修改、移动等各种事件  
实现inotify软件：inotify-tools，sersync，lrsync

## 查看服务器内核是否支持inotify ##

查看/proc/sys/fs/inotify目录下是否有以下文件，若是有则支持

[root@localhost ~]# ll /proc/sys/fs/inotify/
    total 0   #查看
    -rw-r--r-- 1 root root 0 May 19 08:47 max_queued_events
    -rw-r--r-- 1 root root 0 May 19 08:47 max_user_instances
    -rw-r--r-- 1 root root 0 May 19 08:47 max_user_watches

### 参数作用 ###

max\_queued\_events：inotify事件队列最大长度，如值太小会出现Event Queue Overflow 错误，默认值：16384  
max\_user\_watches：可以监视的文件数量（单进程），默认值：8192  
max\_user\_instances：每个用户创建inotify实例最大值，默认值：128

### 参数修改 ###

临时有效

[root@localhost ~]# echo "81920" > /proc/sys/fs/inotify/max_user_watches

永久生效

[root@localhost ~]# vim /etc/sysctl.conf 
    fs.inotify.max_user_watches = 81920
    [root@localhost ~]# sysctl -p
    fs.inotify.max_user_watches = 81920

--------------------

## inotify-tools ##

inotify-tools是基于epel源的，需要开启epel源

[root@localhost ~]# yum install inotify-tools -y

inotify-tools的主要文件

[root@localhost ~]# rpm -ql inotify-tools
    /usr/bin/inotifywait
    /usr/bin/inotifywatch

inotifywait：在被监控的文件或目录上等待特定文件系统事件（open close delete等）发生，常用于实时同步的目录监控  
inotifywatch：收集被监控的文件系统使用的统计数据，指文件系统事件发生的次数统计

## inotify命令用法 ##

语法：

inotifywait [ options ] file1 [ file2 ] [ file3 ] [ ... ]

<table> 
 <thead> 
  <tr> 
   <th style="text-align:left;">options</th> 
   <th style="text-align:left;">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:left;">-m</td> 
   <td style="text-align:left;">始终保持事件监听</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">-d</td> 
   <td style="text-align:left;">以守护方式执行</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">-r</td> 
   <td style="text-align:left;">递归监控目录数据信息变化</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">-q</td> 
   <td style="text-align:left;">输出少量事件信息</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">--exclude</td> 
   <td style="text-align:left;">指定排除文件或目录，是哪个扩展的正则表达式</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">--excludei</td> 
   <td style="text-align:left;">和--exclude相同，不区分大小写</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">-o FILE</td> 
   <td style="text-align:left;">输出事件到文件中，标准正确输出</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">-s</td> 
   <td style="text-align:left;">发送错误到syslog中</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">--timefmt OPT</td> 
   <td style="text-align:left;">指定时间输出的格式</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">--format OPT</td> 
   <td style="text-align:left;">指定的输出格式；即实际监控输出内容</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">-e</td> 
   <td style="text-align:left;">指定监听的时间，如省略表示监听所有</td> 
  </tr> 
 </tbody> 
</table>

### inotifywait使用方法 ###

#### 1.监控目录，不带任何参数默认工作在前台 ####

[root@localhost ~]# inotifywait /data
    Setting up watches.
    Watches established.
    /data/ OPEN,ISDIR           #不带任何参数，被访问一次就退出

#### 2.持续递归监控目录 ####

[root@localhost ~]# inotifywait -mrq /data
    /data/ OPEN,ISDIR             #访问目录
    /data/ CLOSE_NOWRITE,CLOSE,ISDIR 
    /data/ CREATE aaa             #创建文件
    /data/ OPEN aaa
    /data/ ATTRIB aaa
    /data/ CLOSE_WRITE,CLOSE aaa

#### 3.以守护进程执行 ####

[root@localhost ~]# inotifywait -o /root/inotify.log -rq /data
    [root@localhost ~]# tail /root/inotify.log 
    /data/ CREATE bbb               #创建文件

#### 4.定义格式输出 ####

<table> 
 <thead> 
  <tr> 
   <th style="text-align:left;">定义格式输出需要定义时间格式和输出格式两个选项<br>--timefmt OPT 时间格式<br></th> 
   <th style="text-align:left;">参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:left;">%Y</td> 
   <td style="text-align:left;">年份信息，包含世纪信息</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">%y</td> 
   <td style="text-align:left;">年份信息，不包括世纪信息</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">%m</td> 
   <td style="text-align:left;">显示月份，范围 01-12</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">%d</td> 
   <td style="text-align:left;">每月的第几天，范围是 01-31</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">%H</td> 
   <td style="text-align:left;">小时信息，使用 24小时制，范围 00-23</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">%M</td> 
   <td style="text-align:left;">分钟，范围 00-59</td> 
  </tr> 
 </tbody> 
</table>

--timefmt "%Y-%m-%d %H:%M"

<table> 
 <thead> 
  <tr> 
   <th style="text-align:left;">--format OPT 输出格式<br></th> 
   <th style="text-align:left;">FMT</th> 
   <th>格式定义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:left;">%T</td> 
   <td style="text-align:left;">输出时间格式中定义的时间格式信息，通过--timefmt option语法格式指定时间信息</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">%w</td> 
   <td style="text-align:left;">事件出现时，监控文件或目录的名称信息</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">%f</td> 
   <td style="text-align:left;">事件出现时，将显示监控目录下触发事件的文件或目录信息，否则为空</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">%e</td> 
   <td style="text-align:left;">显示发生的事件信息，不同的事件默认用逗号分隔</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">%Xe</td> 
   <td style="text-align:left;">显示发生的事件信息，不同的事件指定用X进行分隔</td> 
  </tr> 
 </tbody> 
</table>

--format "%T %w%f event: %;e"  
    --format '%T  %w  %f'

指定输出的格式

[root@localhost ~]# inotifywait -o /root/inotify.log -drq --timefmt "%Y-%m-%d %H:%M" --format "%T %w%f event: %;e" /data
    [root@localhost ~]# cat /root/inotify.log 
    2019-05-19 09:43 /data/abc event: CREATE
    2019-05-19 09:43 /data/abc event: OPEN
    2019-05-19 09:43 /data/abc event: ATTRIB
    2019-05-19 09:43 /data/abc event: CLOSE_WRITE;CLOSE
    2019-05-19 09:43 /data/ event: OPEN;ISDIR
    2019-05-19 09:43 /data/ event: CLOSE_NOWRITE;CLOSE;ISDIR
    2019-05-19 09:44 /data/ event: OPEN;ISDIR
    2019-05-19 09:44 /data/ event: CLOSE_NOWRITE;CLOSE;ISDIR
    2019-05-19 09:44 /data/aaa event: DELETE

#### 5.监听特定的事件 ####

<table> 
 <thead> 
  <tr> 
   <th style="text-align:left;">使用-e选项可以指定监听的特定事件<br></th> 
   <th style="text-align:left;">事件类型</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:left;">create</td> 
   <td style="text-align:left;">文件或目录创建</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">delete</td> 
   <td style="text-align:left;">文件或目录被删除</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">modify</td> 
   <td style="text-align:left;">文件或目录内容被写入</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">attrib</td> 
   <td style="text-align:left;">文件或目录属性改变</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">close_write</td> 
   <td style="text-align:left;">文件或目录关闭，在写入模式打开之后关闭的</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">close_nowrite</td> 
   <td style="text-align:left;">文件或目录关闭，在只读模式打开之后关闭的</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">close</td> 
   <td style="text-align:left;">文件或目录关闭，不管读或是写模式</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">open</td> 
   <td style="text-align:left;">文件或目录被打开</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">moved_to</td> 
   <td style="text-align:left;">文件或目录被移动到监控的目录中</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">moved_from</td> 
   <td style="text-align:left;">文件或目录从监控的目录中被移动</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">move</td> 
   <td style="text-align:left;">文件或目录不管移动到或是移出监控目录都触发事件</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">access</td> 
   <td style="text-align:left;">文件或目录内容被读取</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">delete_self</td> 
   <td style="text-align:left;">文件或目录被删除，目录本身被删除</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">unmount</td> 
   <td style="text-align:left;">取消挂载</td> 
  </tr> 
 </tbody> 
</table>

监控新建，删除，改属性，改名字

[root@localhost ~]# inotifywait -mrq --timefmt "%Y-%m-%d %H:%M" --format "%T %w%f event: %;e" /data -e CREATE,MOVED_TO,DELETE,ATTRIB
    2019-05-19 09:52 /data/abc event: DELETE
    2019-05-19 09:52 /data/bbb event: DELETE
    2019-05-19 09:52 /data/123 event: CREATE
    2019-05-19 09:52 /data/123 event: ATTRIB

## inotify和rsync实现实时同步 ##

<table> 
 <thead> 
  <tr> 
   <th style="text-align:left;">要实现inotify和rsync实时同步，需要将用来同步的服务器设置为rsync服务器<br>准备主机2台，客户端，rsync服务器，客户端监控本机/data目录下的数据变化，服务器端用来同步/data数据<br></th> 
   <th style="text-align:left;">主机</th> 
   <th>IP</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:left;">rsync</td> 
   <td style="text-align:left;">192.168.73.110</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">client</td> 
   <td style="text-align:left;">192.168.73.111</td> 
  </tr> 
 </tbody> 
</table>

### rsync服务器配置 ###

1.安装rsync

[root@rsync ~]# yum install rsync -y

2.创建一个用来同步数据的目录

[root@rsync ~]# mkdir /data/backup

3.修改rsync配置文件

[root@rsync ~]# vim /etc/rsyncd.conf 
    uid = root                          
    gid = root                          
    use chroot = no                     
    max connections = 0                 
    log file = /var/log/rsyncd.log
    pid file = /var/run/rsyncd.pid
    reverse lookup = no
    host allow = 192.168.73.111
    [backup]
    path = /data/backup/
    comment = backup
    readonly = no
    auth users = rsyncuser
    secrets file = /etc/rsync.pass

4.生成验证用的账户密码，修改为安全权限

[root@rsync ~]# echo "rsyncuser:111111" > /etc/rsync.pass
    [root@rsync ~]# chmod 600 /etc/rsync.pass

5.启动服务(rsyncd端口号873)

[root@rsync ~]# systemctl start rsyncd

### client端配置 ###

#### 测试rsync一次性任务 ####

1.安装rsync

[root@client ~]# yum install rsync -y

2.配置密码文件，修改为安全权限

[root@client ~]# echo "111111" > /etc/rsync.pass
    [root@client ~]# chmod 600 /etc/rsync.pass

3.执行rsync命令

#把本机的/data目录下的数据利用rsync远程同步到73.110的backup指定的文件夹中去
    [root@client ~]# rsync -avz --password-file=/etc/rsync.pass /data/ rsyncuser@192.168.73.110::backup
    sending incremental file list
    ./
    nfs1/
    nfs1/123
    nfs1/aaa
    nfs1/wang
    nfs2/
    nfs2/nfs2.txt
    wanghome/
    wanghome/.bash_history
    wanghome/.bash_logout
    wanghome/.bash_profile
    wanghome/.bashrc
    wanghome/.viminfo
    wanghome/test
    
    sent 1,587 bytes  received 225 bytes  3,624.00 bytes/sec
    total size is 1,215  speedup is 0.67

同步成功

#### 让inotify配合sync实时同步 ####

1.在客户端创建脚本

[root@client ~]# vim rsync.sh 
    #!/bin/bash
    SRC='/data/'
    DEST='rsyncuser@192.168.73.110::backup'
    inotifywait  -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w %f' -e create,delete,moved_to,close_write,attrib ${SRC} |while read DATE TIME DIR FILE;do
            FILEPATH=${DIR}${FILE}
            rsync -az --delete  --password-file=/etc/rsync.pass $SRC $DEST && echo "At ${TIME} on ${DATE}, file $FILEPATH was backuped up via rsync" >> /var/log/changelist.log
    done

2.运行脚本

[root@client ~]# bash rsync.sh

转载于:https://blog.51cto.com/11886307/2397142