Liunx：集群分发脚本scp和rsync，自制脚本xsync

以你之姓@ 2024-03-17 15:38 47阅读 0赞

### scp（secure copy）安全拷贝 ###

（1）scp定义  
scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

（2）基本语法

scp -r  p d i r / pdir/ pdir/fname  u s e r @ user@ user@host: p d i r / pdir/ pdir/fname  
命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

（3）案例实操  
前提：在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、 /opt/software两个目录，并且已经把这两个目录修改为atguigu:atguigu

\[atguigu@hadoop102 ~\]$ sudo chown atguigu:atguigu -R /opt/module

①在hadoop102上，将hadoop102中/opt/module/jdk1.8.0\_212目录拷贝到hadoop103上。  
\[atguigu@hadoop102 ~\]$ scp -r /opt/module/jdk1.8.0\_212 atguigu@hadoop103:/opt/module

②在hadoop103上，将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上。  
\[atguigu@hadoop103 ~\]$ scp -r atguigu@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

③在hadoop103上操作，将hadoop102中/opt/module目录下所有目录拷贝到hadoop104上。  
\[atguigu@hadoop103 opt\]$ scp -r atguigu@hadoop102:/opt/module/\* atguigu@hadoop104:/opt/module

### rsync远程同步工具 ###

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。  
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

（1）基本语法

rsync -av  p d i r / pdir/ pdir/fname  u s e r @ user@ user@host: p d i r / pdir/ pdir/fname  
命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称  
选项参数说明  
选项 功能  
\-a 归档拷贝  
\-v 显示复制过程

（2）案例实操

①删除hadoop103中/opt/module/hadoop-3.1.3/wcinput

\[atguigu@hadoop103 hadoop-3.1.3\]$ rm -rf wcinput/

②同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

\[atguigu@hadoop102 module\]$ rsync -av hadoop-3.1.3/ atguigu@hadoop103:/opt/module/hadoop-3.1.3/

### 自制脚本xsync ###

在一个配置了环境变量目录下（随时随地使用）

vi xsync

内容

#!/bin/bash
    
    #1. 判断参数个数
    if [ $# -lt 1 ]
    then
        echo "Not Enough Arguement!"
        exit
    fi
    
    #2. 遍历集群所有机器
    for host in hadoop102 hadoop103 hadoop104
    do
        echo ====================  $host  ====================
        #3. 遍历所有目录，挨个发送
    
        for file in $@
        do
            #4. 判断文件是否存在
            if [ -e $file ]
                then
                    #5. 获取父目录
                    pdir=$(cd -P $(dirname $file); pwd)
    
                    #6. 获取当前文件的名称
                    fname=$(basename $file)
                    ssh $host "mkdir -p $pdir"
                    rsync -av $pdir/$fname $host:$pdir
                else
                    echo $file does not exists!
            fi
        done
    done

修改执行权限

chmod +x xsync