linux求两个文件的差集,Linux 求文件交集差集等

曾经终败给现在 2023-01-19 08:24 306阅读 0赞

使用comm命令

假设两个文件FILE1和FILE2用集合A和B表示，FILE1内容如下：

a

b

c

e

d

a

FILE2内容如下：

c

d

a

c

基本上有两个方法，一个是comm命令，一个是grep命令。分别介绍如下：

comm命令 ， Compare sorted files FILE1 and FILE2 line by line. With  no options, produce three-column output.  Column one contains lines unique to FILE1, column two contains lines unique to FILE2, and column three contains lines common to both files. 要注意两个文件必须是排序和唯一(sorted and unique)的，默认输出为三列，第一列为是A-B，第二列B-A，第三列为A交B。

直接运行结果如下：

$ comm a.txt b.txt

a

b

c

d

a

c

e

d

a

仅仅排序：

$ comm

a

a

b

c

c

d

e

排序并且唯一：

$ comm

a

b

c

d

e

如果只想要交集，如下即可：

$ comm -12

a

c

d

grep命令：

grep 命令是常用的搜索文本内容的，要找交集，如下即可：

p$ grep -F -f a.txt b.txt

c

d

a

c

grep不要求排序，但是因为是集合操作，唯一是必须的(不然怎么是集合呢？)。所以：

$ grep -F -f a.txt b.txt | sort | uniq

a

c

d

差集：

$ grep -F -v -f a.txt b.txt | sort | uniq

$ grep -F -v -f b.txt a.txt | sort | uniq

b

e

第一行结果为B-A，所以为空；第二行为A-B。注意顺序很重要！

cat+sort+uniq

1. 取出两个文件的并集(重复的行只保留一份)

cat file1 file2 | sort | uniq

2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)

cat file1 file2 | sort | uniq -d

3. 删除交集，留下其他的行

cat file1 file2 | sort | uniq -u

如果需要计数也有一个很好的参数uniq -c 可以将相同行数的计数放在行首

sort排序

是根据从输入行抽取的一个或多个关键字进行比较来完成的。排序关键字定义了用来排序的最小的字符序列。缺省情况下以整行为关键字按ASCII字符顺序进行排序。

改变缺省设置的选项主要有：

\- m 若给定文件已排好序，合并文件。

\- c 检查给定文件是否已排好序，如果它们没有都排好序，则打印一个出错信息，并以状态值1退出。

\- u 对排序后认为相同的行只留其中一行。

\- o 输出文件 将排序输出写到输出文件中而不是标准输出，如果输出文件是输入文件之一，sort先将该文件的内容写入一个临时文件，然后再排序和写输出结果。

改变缺省排序规则的选项主要有：

\- d 按字典顺序排序，比较时仅字母、数字、空格和制表符有意义。

\- f 将小写字母与大写字母同等对待。

\- I 忽略非打印字符。

\- M 作为月份比较：“JAN”

\- r 按逆序输出排序结果。

\-k, -key=POS1\[,POS2\] posl - pos2 指定一个或几个字段作为排序关键字，字段位置从posl开始，到pos2为止(包括posl，不包括pos2)。如不指定pos2，则关键字为从posl到行尾。字段和字符的位置从0开始。

\- b 在每行中寻找排序关键字时忽略前导的空白(空格和制表符)。

\- t separator 指定字符separator作为字段分隔符。

uniq命令

文件经过处理后在它的输出文件中可能会出现重复的行。例如，使用cat命令将两个文件合并后，再使用sort命令进行排序，就可能出现重复行。这时可以使用uniq命令将这些重复行从输出文件中删除，只留下每条记录的唯一样本。

语法：

uniq \[选项\] 文件

说明：这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多个重复行将被删去，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须不同。如果输入文件用“- ”表示，则从标准输入读取。

该命令各选项含义如下：

\- c 显示输出中，在每行行首加上本行在文件中出现的次数。它可取代- u和- d选项。

\- d 只显示重复行。

\- u 只显示文件中不重复的各行。

\- n 前n个字段与每个字段前的空白一起被忽略。一个字段是一个非空格、非制表符的字符串，彼此由制表符和空格隔开(字段从0开始编号)。

\+n 前n个字符被忽略，之前的字符被跳过(字符从0开始编号)。

\- f n 与- n相同，这里n是字段数。

\- s n 与＋n相同，这里n是字符数。

时间： 07-27

发表评论取消回复

表情：

评论列表（有 0 条评论，306人围观）

还没有评论，来说两句吧...

相关阅读

相关 python-比较两个文件交集、并集、差集

python 比较两个文件交集、并集、差集 !/usr/bin/env python2.7 coding=utf-8 '''

「爱情、让人受尽委屈。」/ 2024年02月19日 14:11/ 0 赞/ 90 阅读

相关【Java】求两集合的交集、并集、差集

一、内置函数实现 1、removeAll方法：从list中删除指定集合中包含的所有元素。 2、retainAll方法：从list中删除指定集合中不包含的所有元素。

ゝ一世哀愁。/ 2023年10月12日 18:36/ 0 赞/ 89 阅读

相关两个list求：是否包含、交集、差集

1、包含： boolean containsAll(Collection<?> c); public static void main(String[] args

偏执的太偏执、/ 2023年10月04日 15:02/ 0 赞/ 87 阅读

相关 C++ STL 求并集、交集、差集

求并集：`std::set_union` 将两个set的并集放入vector中。 include <iostream> include <bits/s

柔情只为你懂/ 2023年07月02日 08:24/ 0 赞/ 50 阅读

相关 jQuery(一) 求两个数组中的交集和差集

使用es7语法 //交集 let intersection = a.filter(v => b.includes(v)) //差集

快来打我*/ 2023年05月29日 14:26/ 0 赞/ 38 阅读

相关 python求两个列表的并集.交集.差集方法

求两个列表的差集 >>> a = [1,2,3] >>> b=[1,2] >>> >>> 两个列表的差集 >>> ret = []

本是古典何须时尚/ 2023年01月24日 02:24/ 0 赞/ 45 阅读

相关 linux求两个文件的差集,Linux 求文件交集差集等

使用comm命令假设两个文件FILE1和FILE2用集合A和B表示，FILE1内容如下： a b c e d a FILE2内容如下： c d a c

曾经终败给现在/ 2023年01月19日 08:24/ 0 赞/ 307 阅读

相关 comm求交集和差集

比较已经排序的文件 comm \[options\] file1 file2 comm将逐行比较已经排序的两个文件。显示结果包括3列：第1列为只在file1中找到

﹏ヽ暗。殇╰゛Y/ 2022年06月18日 00:25/ 0 赞/ 250 阅读

相关 Python求两个列表的差集、交集与并集

>>> a = [1,2,3] >>> b=[1,2] >>> >>> 两个列表的差集 >>> ret = [] >>> fo

た入场券/ 2022年05月29日 04:19/ 0 赞/ 259 阅读

相关 JS数组求并集，交集和差集

es7: filter结合includes // 并集 let union = a.concat(b.filter(v => !a.includes(v

Love The Way You Lie/ 2022年05月11日 08:52/ 0 赞/ 322 阅读