linux shell 删除两个文件相同部分

叁歲伎倆 2021-09-02 06:02 505阅读 0赞

**目录**

方法一：使用grep

方法二：实用comm

方法三：使用awk

--------------------

首先描述一下这个问题：比如两个文件file1和file2，删除两个文件中共同的部分，留下两个文件中独自有的部分

### 方法一：使用grep ###

grep -v -f file1 file2 && grep -v -f file2 file1

grep命令的详细使用方法，可以参考man，在方法一中，用到了两个参数。参数-v，表示invert match，即反向匹配，输出没有匹配上的项。参数-f，表示从文件中读取匹配模板(pattern)。方法一中的前一部分，在文件file1中匹配模板，来反向匹配文件file2中的内容，即输出文件file2中，在file1中没有的内容。后面的一部分同理可得，输出文件file1中，在file2中没有的内容。

### 方法二：实用comm  ###

comm -3 file1 file2

这个方法看起来最简单。命令comm的功能就是，逐行比较两个排好序的文件，默认输出有三列：只在file1中有的行、只在file2中有的行、在file1和file2中共有的行。有参数-1 -2 -3，分别来抑制输出对应的列。例如在我们的方法二中，实用-3参数，不输出file1和file2中共有的部分。即能达到我们本文的目的。  
但是注意到，comm比较排好序的两个文件，comm在处理文件的时候，首先要查看文件是否有序，例如file1和file2的内容如下：

$cat file1
    line1
    line2
    line3 
    
    $cat file2
    line0
    line1
    line3
    line2

调用前面方法二的命令的时候，就会提示file2文件时无序的，输出的结果如下：

$ comm -3 file1 file2
            line0
    line2
    comm: file 2 is not in sorted order
            line2

如果使用--nocheck-order参数，不进行有序性检测，结果如下：

$ comm -3 --nocheck-order file1 file2
    
            line0
    line2
    
            line2

从这个结果中我们可以看到，这还是不是我们真正想要的结果。这里可体现comm的另一个特征，就是逐行比较。它是对file1和file2进行逐行往下的比较，检测是否相同。所以，在用comm的时候，要根据具体的情况进行分析了。

### 方法三：使用awk ###

awk '{print NR, $0}' file1 file2 |sort -k2|uniq -u -f 1|sort -k1|awk '{print $2}'
    或者：
    awk '{print $0}' file1 file2 |sort|uniq -u

awk命令的使用，听牛人说可谓博大精深，我也没有太搞清楚。这里只是使用了一些简单的功能。下面以我自己的理解来解释一下上面的shell代码。awk就是文本的解释器和过滤器。awk把每一行看成是一个记录(record)，每个记录使用分隔符(默认是空格)把每条记录分成若干域。awk内置参数$0表示整行，$1、$2...分别表示各域，内置参数NR，表示记录的计数，awk '\{print NR, $0\}' file1 file2表示依次读取file1 file2，打印出每行，并且在前面添加行号。

命令sort，就是对行进行排序，参数-k表示根据各行的第几个参数关键字开进行排序，这里的-k2表示根据第二个关键字开始进行排序。

命令uniq，进行报告或者忽略重复的行，参数-u，表示只是打印出唯一的行(unique lines)，-f表示忽略的每行的前n个域的比较。

发表评论取消回复

表情：

评论列表（有 0 条评论，505人围观）

还没有评论，来说两句吧...

相关阅读

相关如何判断两个文件内容是否相同

如何判断两个文件内容是否相同？一、MD5判断通过MD5比对两个文件是否相等，你可以计算每个文件的MD5哈希值，然后将这些哈希值进行比较。如果两个文件的MD5哈希

「爱情、让人受尽委屈。」/ 2023年10月15日 07:23/ 0 赞/ 78 阅读

相关删除两个数组对象中相同的对象

例子如下： var arr1=[{id:1},{id:2},{id:3},{id:4},{id:5}] var arr2=[{id:1},{id:2},{id

我就是我/ 2023年06月20日 06:41/ 0 赞/ 3 阅读

相关 linux判断两个文件内容,shell怎么判断两个文件内容是否相同

\cat diff\_two\_file \/bin/sbin file1=/mnt/mmc/test/aa file2=/mnt/mmc/test/bb diff $

Myth丶恋晨/ 2023年01月19日 10:53/ 0 赞/ 1032 阅读

相关 adb shell 连接两个相同设备

1.背景当电脑连接了两个相同型号的安卓设备(例: HW OBU),使用adb shell 时, adb devices 发现两个设备名称一致, 导致无法连接. 2.

梦里梦外;/ 2023年01月05日 03:53/ 0 赞/ 433 阅读

相关删除两个数组中相同的数据

```bash var arr1=[{id:1},{id:2},{id:3},{id:4},{id:5}] var arr2=[{id:1},{id:2

Love The Way You Lie/ 2022年12月28日 08:11/ 0 赞/ 172 阅读

相关 Linux md5sum比较两个文件夹下面文件是否相同

Copy文件夹之后，检测两个文件夹（dir1，dir2）下文件是否相同。logdir 是任何一个存放生成文件的目录 . cd dir1 find ./ -t

柔情只为你懂/ 2022年07月03日 14:26/ 0 赞/ 483 阅读

相关 Shell 命令行求两个文件每行对比的相同内容

Shell 命令行求两个文件每行对比的相同内容遇到的一个实际问题是，2017年08月01日起，所有未经实名的域名，全部停止解析。而我手上有不少域名，其中很多都是没有实名

àì夳堔傛蜴生んèń/ 2022年06月11日 06:36/ 0 赞/ 277 阅读

相关 linux shell 合并多个文件并删除重复行

目录源文件合并文件删除重复行并显示文件并集&交集&补集 -------------------- cat a.txt b.txt | sort | uniq

一时失言乱红尘/ 2021年09月07日 06:10/ 0 赞/ 538 阅读

相关 linux shell 删除两个文件相同部分

目录方法一：使用grep 方法二：实用comm 方法三：使用awk -------------------- 首先描述一下这个问题：比如两个文件file1和fil

叁歲伎倆/ 2021年09月02日 06:02/ 0 赞/ 506 阅读

相关两个数组找相同部分和两个数组找不同部分

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8" />

男娘i/ 2021年07月25日 00:48/ 0 赞/ 407 阅读