lsyncd实时同步工具

秒速五厘米 2023-06-12 06:30 22阅读 0赞

# 简介 #

Lysncd 实际上是lua语言封装了 inotify 和 rsync 工具，采用了 Linux 内核（2.6.13 及以后）里的 inotify 触发机制，然后通过rsync去差异同步，达到实时的效果。  
完美解决了 inotify + rsync海量文件同步带来的文件频繁发送文件列表的问题 —— 通过时间延迟或累计触发事件次数实现。

# 环境 #

由于成本考虑，没有用ELK来做日志手机。需要采用`lsyncd`将每台服务器的`/data/log/tomcat`目录同步到固定的机器，使用`Nginx`来做日志展示。

服务器列表

<table> 
 <thead> 
  <tr> 
   <th>系统</th> 
   <th>ip</th> 
   <th>ssh端口</th> 
   <th>目录</th> 
   <th>注释</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>CentOS 6.9</td> 
   <td>192.168.31.7</td> 
   <td>27</td> 
   <td>/data/log/tomcat</td> 
   <td>安装lsync</td> 
  </tr> 
  <tr> 
   <td>CentOS 6.9</td> 
   <td>192.168.31.216</td> 
   <td>27</td> 
   <td>/data/log/tomcat/192.168.31.7</td> 
   <td>安装rsync</td> 
  </tr> 
 </tbody> 
</table>

备注：将`192.168.31.7`的`/data/log/tomcat`目录同步到`192.168.31.216`的`/data/log/tomcat/192.168.31.7`目录

## 拓扑图 ##

![1341090-20191029163850544-114908838.png][]

说明：  
将每台web服务器的日志`/data/log/tomcat`，使用`rsync`工具，通过`ssh`协议，发送给日志服务器。

# ssh免密 #

注意：设置单向的ssh免密即可。也就是`192.168.31.7`能免密登录`192.168.31.216`

## 生成秘钥 ##

2台服务器，都执行命令：

ssh-keygen -t rsa

## copy秘钥 ##

ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 27 root@192.168.31.216"

# 安装lsyncd #

有2种方法可以安装，主要讲解`源码安装`

## yum安装 ##

yum安装，前提是安装了epel更新源。使用命令：`yum install -y lsyncd`

## 源码安装 ##

github下载，地址为：[https://github.com/axkibe/lsyncd][https_github.com_axkibe_lsyncd]  
本文采用的是`源码安装`方式，因为版本是比`yum安装`要新一点

### 安装依赖 ###

#### 编译环境 ####

yum install -y gcc psmisc gcc-c++ cmake

#### 安装lua ####

yum install -y lua lua-devel

#### 安装其他组件 ####

`注意：rsync必须要安装`

yum install -y rsync unzip

### 编译安装 ###

mkdir -p /data/
    unzip lsyncd-master.zip -d /usr/src/
    cd /usr/src/lsyncd-master/
    cmake -DCMAKE_INSTALL_PREFIX=/data/lsyncd
    make && make install

# 创建同步目录 #

mkdir -p /data/log/tomcat
    touch /data/log/tomcat/1.txt

mkdir -p /data/log/tomcat/192.168.31.7

# 安装rsync #

注意：server端和client端都需要安装rsync  
登录`192.168.31.7`和`192.168.31.216`，执行命令：

yum install -y rsync

## 配置文件 ##

cd /data/lsyncd
    mkdir etc var
    cd etc/
    vi lsyncd.conf

内容如下：

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

settings {
     --pid文件
     logfile = "/data/lsyncd/var/lsyncd.log",
     --状态文件
     statusFile = "/data/lsyncd/var/lsyncd.status",
     --同步模式，意思就是有更新就同步
     inotifyMode = "CloseWrite or Modify",
     --最大8个进程
        maxProcesses = 8,
    }
    --需要同步服务器的IP地址池
    servers = {
    "192.168.31.216",
    }
    --使用for循环遍历IP池
    for _, server in ipairs(servers) do 
    sync {
     --本地目录间同步，使用rsync
     default.rsync,
     --同步的源目录，使用绝对路径
     source = "/data/log/tomcat",
     --定义目的地址,注意:冒号后面是绝对路径
     target = server..":/data/log/tomcat/192.168.31.7",
     --累计事件，等待rsync同步延时时间。这里设置0秒，表示实时同步。
     delay = 0,
     rsync ={
     --rsync命令的绝对路径
      binary ="/usr/bin/rsync",
      archive =true,
      compress =true,
      verbose = true,
      --使用ssh协议连接到目标服务器，如果端口不是22，请修改一下。
      rsh = "/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no"
     },
    }
    end

## 启动服务 ##

/data/lsyncd/bin/lsyncd /data/lsyncd/etc/lsyncd.conf

## 查看日志 ##

tail -f /data/lsyncd/var/lsyncd.log

输出：

sent 106 bytes received 31 bytes 274.00 bytes/sec
    total size is 0 speedup is 0.00
    Mon Oct 28 10:21:02 2019 Normal: Finished a list after exitcode: 0

## 查看进程 ##

# ps -aux|grep lsync
    
    Warning: bad syntax, perhaps a bogus '-'? See /usr/share/doc/procps-3.2.8/FAQ
    root 1581 0.0 0.0 11376 1112 ? Ss 10:19 0:00 /data/lsyncd/bin/lsyncd /data/lsyncd/etc/lsyncd.conf
    root 1602 0.0 0.0 103336 896 pts/0 S+ 10:23 0:00 grep lsync

## 查看同步目录 ##

登录到`192.168.31.216`，查看目录是否同步过来了

# ls /data/log/tomcat/192.168.31.7/
    
    1.txt

# 开机启动脚本 #

vi /etc/init.d/lsyncd

内容如下：

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

#!/bin/bash
    #
    # chkconfig: - 85 15
    # description: Lightweight inotify based sync daemon
    #
    # processname:  lsyncd
    # config:       /data/lsyncd/etc/lsyncd.conf
    # config:       /etc/sysconfig/lsyncd
    # pidfile:      /data/lsyncd/var/lsyncd.pid
    # Source function library
    . /etc/init.d/functions
    # Source networking configuration.
    . /etc/sysconfig/network
    # Check that networking is up.
    [ "$NETWORKING" = "no" ] && exit 0
    LSYNCD_OPTIONS="-pidfile /data/lsyncd/var/lsyncd.pid /data/lsyncd/etc/lsyncd.conf"
    if [ -e /etc/sysconfig/lsyncd ]; then
      . /etc/sysconfig/lsyncd
    fi
    RETVAL=0
    prog="lsyncd"
    thelock=/var/lock/subsys/lsyncd
    start() {
    [ -f /data/lsyncd/etc/lsyncd.conf ] || exit 6
            echo -n $"Starting $prog: "
            if [ $UID -ne 0 ]; then
                    RETVAL=1
                    failure
            else
                    daemon ${LSYNCD_USER:+--user ${LSYNCD_USER}} /data/lsyncd/bin/lsyncd $LSYNCD_OPTIONS
                    RETVAL=$?
                    [ $RETVAL -eq 0 ] && touch $thelock
            fi;
            echo
            return $RETVAL
    }
    stop() {
            echo -n $"Stopping $prog: "
            if [ $UID -ne 0 ]; then
                    RETVAL=1
                    failure
            else
                    killproc lsyncd
                    RETVAL=$?
                    [ $RETVAL -eq 0 ] && rm -f $thelock
            fi;
            echo
            return $RETVAL
    }
    reload(){
            echo -n $"Reloading $prog: "
            killproc lsyncd -HUP
            RETVAL=$?
            echo
            return $RETVAL
    }
    restart(){
            stop
            start
    }
    condrestart(){
        [ -e $thelock ] && restart
        return 0
    }
    case "$1" in
      start)
            start
            ;;
      stop)
            stop
            ;;
      restart)
            restart
            ;;
      reload)
            reload
            ;;
      condrestart)
            condrestart
            ;;
      status)
            status lsyncd
            RETVAL=$?
            ;;
      *)
            echo $"Usage: $0 {start|stop|status|restart|condrestart|reload}"
            RETVAL=1
    esac
    exit $RETVAL

增加启动项

chkconfig --add lsyncd
    chkconfig --level 2345 lsyncd on

如果遇到不同步的情况：

1.检查几台服务器是否存在文件/usr/bin/rsync
    2.检查source和target文件目录是否存在
    3.检查iptables和selinux是否关闭
    4.检查几台服务器之间是否做了秘钥认证，能够无密码ssh登录

本文参考链接:  
[https://linux.cn/article-5849-1.html][https_linux.cn_article-5849-1.html]

[1341090-20191029163850544-114908838.png]: /images/20230531/4e1a5d3ed90d4687b94ac65b91b9161d.png
[https_github.com_axkibe_lsyncd]: https://github.com/axkibe/lsyncd
[ContractedBlock.gif]: https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif
[ExpandedBlockStart.gif]: /images/20230531/319eef4e8a7146d9a2e816692df72a4a.png
[https_linux.cn_article-5849-1.html]: https://linux.cn/article-5849-1.html