5. Sersync实时同步

àì夳堔傛蜴生んèń 2023-08-17 15:37 125阅读 0赞

## rsync+Sersync数据的实时同步 ##

[sersync介绍][sersync]

1.什么是实时同步
        监控一个目录的变化, 当该目录触发事件(创建\删除\修改)
        就执行动作, 这个动作可以是 rsync同步 ,也可以是其他.
    
    2.为什么要实时同步
        1.能解决nfs单点故障问题.     (没什么意义)   Glusterfs
        2.能够让本地快速切换至云端.
    
    3.实时同步的原理
        借助一个通知接口, inotify.  inotify监控本地主机的事件(创建\删除\修改),
        则通知执行动作  这个动作可以是 rsync同步
    
    4.实时同步的场景
        1.能解决nfs单点故障问题
        2.能够让本地快速切换至云端
    
    5.实时同步工具选择
        1.inotify+rsync实现    写脚本来实现监控  放在后台  screen  
            ①.脚本 (不适合)
            ②.同步
        2.sersync实时同步(解压即用)
          
        3.lsyncd                
    
    6.实时同步案例演示
    
    规划:
       服务器              ip   分配                 所需软件包
        web         10.0.0.7  172.16.1.7            httpd\php
        nfs         10.0.0.31 172.16.1.31       nfs-server  inotify rsync sersync
        backup      10.0.0.41 172.16.1.41       rsync-server  nfs-server

## 1.实现web上传视频,自动存储至NFS服务器? ##

![实现WEB上传视频][WEB]

#### NFS服务端操作: 10.0.0.31 172.16.1.31 ####

1.安装nfs
    [root@nfs ~]# yum install nfs-utils -y
    
    2.配置
    [root@nfs ~]# cat /etc/exports
    /data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
    
    3.根据配置初始化环境
    [root@nfs ~]# groupadd -g 666 www
    [root@nfs ~]# useradd -u666 -g666 www
    [root@nfs ~]# mkdir /data
    [root@nfs ~]# chown -R www.www /data/
    
    4.重新启动nfs服务
    [root@nfs ~]# systemctl restart nfs-server
    [root@nfs ~]# systemctl enable  nfs-server

#### Web服务端操作: 10.0.0.7 172.16.1.7 ####

1.安装httpd php
    [root@web01 ~]# yum install httpd php -y
    
    2.配置httpd php
    
    3.启动httpd
    [root@web01 ~]# systemctl start httpd
    
    4.模拟测试
    [root@web01 ~]# echo "Oldboy Edu.com" > /var/www/html/index.html    (可以不测试)

#### Web服务器进行挂载,上传代码: ####

[root@web01 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/
    [root@web01 ~]# cd /var/www/html
    [root@web01 ~]# rz kaoshi.zip
    [root@web01 ~]# unzip kaoshi.zip
    
    用户通过前端的web页面上传视频
    如果上传出现错误:请检查日志
    [root@web01 html]# tail -f /var/log/httpd/error_log

## 2.当NFS的目录发生变化,则触发同步? (实时同步) ##

1.怎么监控/data?  inotify
    2.同步给rsync ---> backup服务器  [backup模块] [data模块]

#### 1.rsync服务(增加data模块)10.0.0.41 172.16.1.41 ####

1.1安装rsync
    [root@backup ~]# yum install rsync -y
    
    1.2配置rsync
    [root@backup ~]# cat /etc/rsyncd.conf
    uid = rsync
    gid = rsync
    port = 873
    fake super = yes
    use chroot = no
    max connections = 200
    timeout = 600
    ignore errors
    read only = false
    list = false
    auth users = rsync_backup
    secrets file = /etc/rsync.passwd
    log file = /var/log/rsyncd.log
    #####################################
    
    [backup]
    comment = welcome to oldboyedu backup!
    path = /backup
    
    [data]
    path = /data
    
    1.3根据rsync配置初始化环境
    [root@backup ~]# useradd -M -s /sbin/nologin rsync
    [root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
    [root@backup ~]# chmod 600 /etc/rsync.passwd
    [root@backup ~]# mkdir /backup /data -p 
    [root@backup ~]# chown -R rsync.rsync /backup/ /data/
    
    1.4启动rsync
    [root@backup ~]# systemctl restart rsyncd 
    [root@backup ~]# systemctl enable rsyncd

#### 2.nfs服务配置 （同步给backup服务器）10.0.0.31 172.16.1.31 ####

1.安装rsync inotify
        [root@nfs ~]# yum install rsync inotify-tools -y
    
        2.安装sersync  ( rsync inotify )
        [root@nfs ~]# wget https://github.com/wsgzao/sersync/raw/master/sersync2.5.4_64bit_binary_stable_final.tar.gz
        [root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/
        [root@nfs ~]# mv /usr/local/GNU-Linux-x86/ /usr/local/sersync
        [root@nfs ~]# file /usr/local/sersync/confxml.xml
        
        [root@nfs ~]# echo "123456" > /etc/rsync.pass
        [root@nfs ~]# chmod 600 /etc/rsync.pass
        
        3. 修改配置文件confxml.xml
        [root@nfs01 sersync]# vim confxml.xml
      5     <fileSystem xfs="true"/>  
      6     <filter start="false">  
      7         <exclude expression="(.*)\.svn"></exclude>
      8         <exclude expression="(.*)\.gz"></exclude>
      9         <exclude expression="^info/*"></exclude>
     10         <exclude expression="^static/*"></exclude>
     11     </filter>
     
     12     <inotify> 
     13         <delete start="true"/>
     14         <createFolder start="true"/>
     15         <createFile start="true"/>
     16         <closeWrite start="true"/>
     17         <moveFrom start="true"/>
     18         <moveTo start="true"/>
     19         <attrib start="false"/>
     20         <modify start="false"/>
     21     </inotify>
     
     23     <sersync>
     24         <localpath watch="/data"> 
     25             <remote ip="172.16.1.41" name="data"/>  
     28         </localpath>
     
     29         <rsync> 
     30             <commonParams params="-az"/>
     31             <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>
     32             <userDefinedPort start="false" port="874"/>
     33             <timeout start="true" time="100"/>
     34             <ssh start="false"/>
     35         </rsync>
    
                
     36         <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/>
    
        4.启动sersync
        [root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml
        
        5.建议: 手动执行该命令测试是否ok,这样方便排查问题
        [root@nfs ~]# cd /data && rsync -avz -R --delete ./  --timeout=100 rsync_backup@172.16.1.41::data --password-file=/etc/rsync.pass

--------------------

## 3.模拟NFS故障, web可以快速的切换到backup的NFS服务上? ##

1.backup的权限是否和NFS的权限一致?
    2.backup上是否配置NFS服务?  是否共享了/data目录?
    3.模拟NFS故障,实现切换?

--------------------

#### 1.让backup和nfs的权限一致 10.0.0.41 172.16.1.41 ####

1. 修改如下内容:
    [root@backup ~]# vim /etc/rsyncd.conf   
    uid = www
    gid = www
    .....
    
    2. 创建用户
    [root@backup ~]# groupadd -g 666 www
    [root@backup ~]# useradd -g666 -u666 www
    
    3. 修改权限
    [root@backup ~]# chown -R www.www /data/ /backup/
    
    4. 重启服务
    [root@backup ~]# systemctl restart rsyncd

#### 2.backup服务器配置NFS服务,共享/data目录 ####

1. 安装NFS
    [root@backup ~]# yum install nfs-utils -y
    
    2. 配置NFS
    [root@backup ~]# cat /etc/exports
    /data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
    [root@backup ~]# chown -R www.www /data/
    
    3. 启动NFS
    [root@backup ~]# systemctl enable nfs-server
    [root@backup ~]# systemctl start nfs-server

#### 3.模拟NFS故障,实现切换? ####

![NFS单点故障][NFS]

[root@web01 ~]# umount -lf /var/www/html && mount -t nfs 172.16.1.41:/data /var/www/html

[基于sersync海量文件实时同步][sersync 1]

转载于:https://www.cnblogs.com/yinwu/p/11498849.html

[sersync]: https://github.com/wsgzao/sersync
[WEB]: /images/20230810/df637fecd7de424baadf8e8e44ebbe0e.png
[NFS]: /images/20230810/48e3bc591f94406095c2c21be311b44a.png
[sersync 1]: https://www.cnblogs.com/xuliangwei/p/10245289.html