Linux系统之间拷贝文件的技巧总结

末蓝、 2022-08-10 13:40 174阅读 0赞

日常工作中需要经常从远程或本地服务器拷贝/移动大量文件。遇到文件比较多比较散的时候速度较慢，所以在想有没有较快的方式。经过搜罗、整理、验证，大概有以下几种。  
  
首先，无论本地还是远程，需要移动或拷贝的文件较多且都不太大时，用cp命令和mv命令效率较低，可以先使用tar工具对将要拷贝/移动的内容进行打包/压缩，之后再进行拷贝/移动，最后再解包/解压缩。  
  
另外，也是很关键的一个技巧，即，不必在tar打包/压缩完毕之后再进行拷贝，解包/解压缩，可以通过管道一边打包/压缩另一边执行拷贝解包/解压缩。  
  
比如，tar命令可以和nc命令结合可以快速在两台机器之间传输文件和目录：  
B机器：  
nc -l 5555 |tar -C /tmp/test/ -xf -  
A机器：  
tar cf - /tmp/test/ |nc B'IP 5555  
上述步骤将A机器/tmp/test/下的内容拷贝到B机器对应的目录中，其中tar cf - /tmp/test/ |nc B'IP 5555 将内容边打包边通过管道和nc命令传输到由对应IP地址和5555端口传到B机器，nc -l 5555 |tar -C /tmp/test/ -xf - 监听本机的555端口，并将接收到的内容解包至指定的目录（-C参数指定目标目录）  
  
  
此外，tar还可与scp、ssh命令结合：  
在A机打包后，复制到B机器并解包  
tar -cf - /tmp/test | ssh B'IP "cd /tmp; tar -xf -"  
在A机打包，并将打包好的文件复制到B机  
tar -cf - /tmp/test | ssh B'IP "cd /tmp; cat - > test.tar"  
tar -cf - /tmp/test | scp - B'USER@B'IP:/tmp  
将A机的打包文件，复制到B机并解包  
zcat test.tar | ssh B'IP "cd /tmp; tar -xf -"  
  
也可以直接在本地这么使用：  
cd /tmp/test1  
tar -cf - . | (cd /tmp/test2 ; tar -xvpf -)  
但有人试验后得出结论本地直接用cp较快  
  
另外一些小技巧：  
拷贝时除了拷贝单个文件还会拷贝目录，有时需要连同文件/目录的属性一同拷贝。可以在cp命令中使用-R参数递归拷贝目录，使用-p参数拷贝文件保留属性（默认是：mode,ownership,timestamps也可以通过 --preserve\[=ATTR\_LIST\]指定要特别保留的属性如：context, links,xattr, all），使用-d参数拷贝文件保留连接。或者简单的使用-a参数（相当于使用-dR --preserve=all）  
  
如果想看到拷贝大量小文件的进度可以写一个简单的小脚本：  
cd /tmp/test  
for i in \*  
do  
cp $i 目标目录  
echo $i is ok....

done

最后补充一条不是技巧的技巧：在使用一个工具完成一项任务之前，先思考当前用的工具是不是最适合的工具？有没有更好的工具或办法？如果工具确实很适用于当前任务，那么在使用该工具时有没有特殊的技巧可以提高工作效率？（通常，查看帮助文档可有意外收获）。