Linux服务器之间的文件同步(单向同步:rsync+inotify）

偏执的太偏执、 2022-09-09 13:58 211阅读 0赞

# 1.rsync简介 #

rsync是linux系统下的数据备份工具。支持本地复制，或者与其他SSH、rsync主机同步。

# 2.rsync的部分特性 #

**rsync支持很多特性：**

*  可以镜像保存整个目录树和文件系统
 *  可以很容易做到保持原来文件的权限、时间、软硬链接等等
 *  无须特殊权限即可安装
 *  快速：第一次同步时rsync会复制全部内容，但在下一次只传输修改过的文件。rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽
 *  安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接
 *  支持匿名传输，以方便进行网站镜象

# 3.rsync的ssh认证协议 #

rsync命令来同步系统文件之前要先登录remote主机认证，认证过程中用到的协议有2种：

*  ssh协议
 *  rsync协议

rsync server端不用启动rsync的daemon进程，只要获取remote host的用户名和密码就可以直接rsync同步文件  
rsync server端因为不用启动daemon进程，所以也不用配置文件/etc/rsyncd.conf

# 4.rsync命令的常用选项 #

* -a, --archive       //归档
      * -v, --verbose       //啰嗦模式
      * -q, --quiet         //静默模式
      * -r, --recursive     //递归
      * -p, --perms         //保持原有的权限属性
      * -z, --compress      //在传输时压缩，节省带宽，加快传输速度
      * --delete            //在源服务器上做的删除操作也会在目标服务器上同步

#    5.rsync+inotify #

Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。

示例环境：
    
    源服务器：
    * IP地址：192.168.1.83；
    * 应用：rsync，inotify-tools，脚本；
    * 操作系统：centos7
    
    目标服务器：
    * IP地址：192.168.1.82；
    * 应用：rsync；
    * 操作系统：centos7

# 6.实例 #

场景：部署rsync+inotify同步/etc/nginx/default.d目录至目标服务器的/etc/nginx/default.d下；

## 6.1 源服务器和目标服务器都需要操作： ##

//关闭防火墙与selinux
    	[root@cm2 ~]# systemctl stop firewalld
    	[root@cm2 ~]# setenforce 0
    	[root@cm2 ~]# getenforce 
    	Permissive
    	[root@cm2 ~]# systemctl disable firewalld
    	Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
    	Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
    
    
    	//安装rsync服务端软件
    	[root@cm2 ~]# yum -y install rsync
    	安装过程省略...

## 6.2 目标服务器上进行以下操作(192.168.1.82)： ##

//设置rsyncd.conf配置文件
    	[root@cm2 ~]# vim /etc/rsyncd.conf 
    	log file = /var/log/rsyncd.log
    	pidfile = /var/run/rsyncd.pid
    	lock file = /var/run/rsync.lock
    	secrets file = /etc/rsync.password
    
    	[sync_from_cm3]
    	        path = /etc/nginx/default.d/
    	        comment = sync nginx config file from cm3
    	        uid = root
    	        gid = root
    	        port = 873
    	        ignore errors
    	        use chroot = no
    	        read only = no
    	        list = no
    	        max connections = 200
    	        timeout = 600
    	        auth users = root
    	        hosts allow = 192.168.1.83
    	        hosts deny = 192.168.1.1
    
    
    	//配置用户认证文件
    	[root@cm2 ~]# vim /etc/rsync.password
    	[root@cm2 ~]# cat /etc/rsync.password
    	root:gmg_2019
    
    
    	//设置文件权限
    	[root@cm2 ~]# chmod 600 /etc/rsync.password
    	[root@cm2 ~]# ll /etc/rsync.pass 
    	-rw-------. 1 root root 13 2月  19 04:14 /etc/rsync.password
    
    
    	//启动rsync服务并设置开机自启动
    	[root@cm2 ~]# systemctl start rsyncd
    	[root@cm2 ~]# systemctl enable rsyncd

## 6.3 源服务器上进行以下操作(192.168.1.83)： ##

//创建认证密码文件，只需要密码，不需要用户
    	[root@cm2 ~]# vim /etc/rsync.password
    	gmg_2019
    
    
    	//设置文件权限，只设置文件所有者具有读取、写入权限即可
    	[root@cm2 ~]# chmod 600 /etc/rsync.password 
    
    
    	//在源服务器的目录/etc/nginx/default.d/操作文件，然后在源服务器运行以下命令
    	[root@cm2 ~]# rsync -avH --port 873 --delete /etc/nginx/default.d/ root@192.168.1.82::sync_from_cm3 --password-file=/etc/rsync.password
    	
    
    	//安装inotify-tools工具，实时触发rsync进行同步
    	//查看服务器内核是否支持inotify
    	[root@cm2 ~]# ll /proc/sys/fs/inotify/
    	总用量 0
    	-rw-r--r-- 1 root root 0 2月  19 15:46 max_queued_events
    	-rw-r--r-- 1 root root 0 2月  19 15:46 max_user_instances
    	-rw-r--r-- 1 root root 0 2月  19 15:46 max_user_watches
    	**如果有这个三个以max开头的文件，则表示服务器内核支持inotify**
    
    
    	//下载并安装inotify-tools
    	[root@cm2 ~]# wget https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/i/inotify-tools-3.14-9.el7.x86_64.rpm
    	[root@cm2 ~]# rpm -ivh inotify-tools-3.14-8.el7.x86_64.rpm

## 6.4 监控源服务器指定文件夹的文件操作和服务器之间的同步 ##

这里编写/scripts/inotify.sh脚本（名字随便取，目录随便放）

# 编写监控和同步脚本
    [root@cm3 ~]# vi /scripts/inotify.sh 
    host=192.168.1.82
    src=/etc/nginx/default.d/
    des=sync_from_cm3
    password=/etc/rsync.password
    user=root
    inotifywait=/usr/bin/inotifywait
    
    $inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src | while read files
    do
    	rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des
    	echo "rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des" >> /tmp/rsync.log
    	echo "${files} was rsynced" >> /tmp/rsync.log 2>&1
    done
    
    
    
    # 修改可执行权限
    [root@cm3 ~]# chmod 777 /scripts/inotify.sh 
    
    
    # 启动脚本
    nohup /bin/bash /scripts/inotify.sh &
    
    
    # 设置脚本为开机自动启动
    [root@cm3 ~]# vim /etc/rc.d/rc.local 
    nohup /bin/bash /scripts/inotify.sh &
    
    [root@cm3 ~]# chmod +x /etc/rc.d/rc.local

到此已经完成了，你可以修改源服务器指定文件夹内部的内容，就可以完成同步了

注：

对于文件夹中文件特别多的，会发现同步速度比较慢。可以参考一下文章

[http://www.ttlsa.com/web/let-infotify-rsync-fast/][http_www.ttlsa.com_web_let-infotify-rsync-fast]

[http_www.ttlsa.com_web_let-infotify-rsync-fast]: http://www.ttlsa.com/web/let-infotify-rsync-fast/