文本处理工具之sort，uniq实例详解

矫情吗；* 2022-08-21 04:53 145阅读 0赞

**文本处理工具之sort，uniq详解**

**sort:将输入行按照键值字段与数据类型选项以及locate排序**

**语法: sort \[option\] \[file(s)\]**

**主要选项:**

**-b   忽略开头的空白**

**-c   检查文件是否已经正确排序**

**-f   排序时忽略大小写，均视为大写字母**

**-m   将几个排序好的文件，合并为一个排序后的输出数据流**

**-M   将前面3个字母依照月份的缩写进行排序**

**-k   定义排序键值字段，按照那个字段（file）进行排序**

**-n   依照数值的大小排序**

**-o outfile   将排序后的结果存入指定的文件**

**-r   以相反的顺序来排序，由大到小**

**-t chat  使用单个字符chat作为默认的字段分隔字符，取代默认的空白字符**

**-u   只有唯一的记录，丢弃所有具相同键值的记录，相同的数据出现一次。**

**--help   显示帮助。**

**--version   显示版本信息**

**1).以字段排序**

**排序键值字段类型**

<table style="border:currentColor; border-collapse:collapse"> 
 <tbody> 
 <tr style=""> 
 <td style="padding:0cm 5.4pt; border:1pt solid windowtext; width:76.3pt; background-color:transparent"> 字母 </td> 
 <td style="border-color:windowtext windowtext windowtext rgb(240,240,240); padding:0cm 5.4pt; width:341.8pt; border-top-width:1pt; border-right-width:1pt; border-bottom-width:1pt; border-top-style:solid; border-right-style:solid; border-bottom-style:solid; background-color:transparent"> 说明 </td> 
 </tr> 
 <tr style=""> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext; padding:0cm 5.4pt; width:76.3pt; border-right-width:1pt; border-bottom-width:1pt; border-left-width:1pt; border-right-style:solid; border-bottom-style:solid; border-left-style:solid; background-color:transparent"> b </td> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext rgb(240,240,240); padding:0cm 5.4pt; width:341.8pt; border-right-width:1pt; border-bottom-width:1pt; border-right-style:solid; border-bottom-style:solid; background-color:transparent"> 忽略开头的空白 </td> 
 </tr> 
 <tr style=""> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext; padding:0cm 5.4pt; width:76.3pt; border-right-width:1pt; border-bottom-width:1pt; border-left-width:1pt; border-right-style:solid; border-bottom-style:solid; border-left-style:solid; background-color:transparent"> d </td> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext rgb(240,240,240); padding:0cm 5.4pt; width:341.8pt; border-right-width:1pt; border-bottom-width:1pt; border-right-style:solid; border-bottom-style:solid; background-color:transparent"> 字典顺序 </td> 
 </tr> 
 <tr style=""> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext; padding:0cm 5.4pt; width:76.3pt; border-right-width:1pt; border-bottom-width:1pt; border-left-width:1pt; border-right-style:solid; border-bottom-style:solid; border-left-style:solid; background-color:transparent"> f </td> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext rgb(240,240,240); padding:0cm 5.4pt; width:341.8pt; border-right-width:1pt; border-bottom-width:1pt; border-right-style:solid; border-bottom-style:solid; background-color:transparent"> 不区分字母大小写 </td> 
 </tr> 
 <tr style=""> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext; padding:0cm 5.4pt; width:76.3pt; border-right-width:1pt; border-bottom-width:1pt; border-left-width:1pt; border-right-style:solid; border-bottom-style:solid; border-left-style:solid; background-color:transparent"> g </td> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext rgb(240,240,240); padding:0cm 5.4pt; width:341.8pt; border-right-width:1pt; border-bottom-width:1pt; border-right-style:solid; border-bottom-style:solid; background-color:transparent"> 以一般的浮点数字进行比较，只适用于GNU版本 </td> 
 </tr> 
 <tr style=""> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext; padding:0cm 5.4pt; width:76.3pt; border-right-width:1pt; border-bottom-width:1pt; border-left-width:1pt; border-right-style:solid; border-bottom-style:solid; border-left-style:solid; background-color:transparent"> i </td> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext rgb(240,240,240); padding:0cm 5.4pt; width:341.8pt; border-right-width:1pt; border-bottom-width:1pt; border-right-style:solid; border-bottom-style:solid; background-color:transparent"> 忽略无法打印的字符 </td> 
 </tr> 
 <tr style=""> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext; padding:0cm 5.4pt; width:76.3pt; border-right-width:1pt; border-bottom-width:1pt; border-left-width:1pt; border-right-style:solid; border-bottom-style:solid; border-left-style:solid; background-color:transparent"> n </td> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext rgb(240,240,240); padding:0cm 5.4pt; width:341.8pt; border-right-width:1pt; border-bottom-width:1pt; border-right-style:solid; border-bottom-style:solid; background-color:transparent"> 以整数（数字）比较 </td> 
 </tr> 
 <tr style=""> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext; padding:0cm 5.4pt; width:76.3pt; border-right-width:1pt; border-bottom-width:1pt; border-left-width:1pt; border-right-style:solid; border-bottom-style:solid; border-left-style:solid; background-color:transparent"> r </td> 
 <td style="border-color:rgb(240,240,240) windowtext windowtext rgb(240,240,240); padding:0cm 5.4pt; width:341.8pt; border-right-width:1pt; border-bottom-width:1pt; border-right-style:solid; border-bottom-style:solid; background-color:transparent"> 倒置排序的顺序 </td> 
 </tr> 
 </tbody> 
</table>

**实例1：以传统ASCII码顺序排序**

\[gz\_fieldyang@test ~\]$ LC\_ALL=C sort /etc/passwd

\#gzdev1:x:829:829::/home/gzdev1:/bin/bash

\#gzdev2:x:830:830::/home/gzdev2:/bin/bash

...

Meat:x:814:814::/home/Meat:/bin/bash

adm:x:3:4:adm:/var/adm:/sbin/nologin

...

bin:x:1:1:bin:/bin:/sbin/nologin

cvsroot:x:778:502::/home/cvsroot:/bin/bash

...

dbus:x:81:81:System message bus:/:/sbin/nologin

dovecot:x:99:99:dovecot:/usr/libexec/dovecot:/sbin/nologin

...

ftpuser:x:505:505::/home/ftpuser:/bin/bash

gdm:x:42:42::/var/gdm:/sbin/nologin

** **

**附：**

**\# LC\_ALL=C 是为了去除所有本地化的设置，让命令能正确执行。**

**\# LC\_ALL ：它是一个宏，如果该值设置了，则该值会覆盖所有LC\_\*的设置值。注意，LANG的值不受该宏影响。**

**\# “C”是系统默认的locale，"POSIX"是"C"的别名。所以当我们新安装完一个系统时，默认的locale就是C或POSIX。**

**实例2：以用户名称排序**

\[gz\_fieldyang@test ~\]$ sort -t: -k1,1 /etc/passwd

adm:x:3:4:adm:/var/adm:/sbin/nologin

avahi:x:70:70:Avahi daemon:/:/sbin/nologin

bin:x:1:1:bin:/bin:/sbin/nologin

cvsroot:x:778:502::/home/cvsroot:/bin/bash

daemon:x:2:2:daemon:/sbin:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

gdm:x:42:42::/var/gdm:/sbin/nologin

...

\# -t指定分隔符为分号，\-K指定以第一个字段第一个字符进行排序

**实例3：反向UID排序**

\[gz\_fieldyang@test ~\]$ sort -t: -k3nr /etc/passwd

\[gz\_fieldyang@ test ~\]$ sort -t: -k3nr,3 /etc/passwd

\# 更精确的字段规格应为\-k3,3nr 或\-k3nr,3 或\-k3,3 -n -r，

\# 表示从字段3起始处开始，以数值类型反向排序，并结束与字段3的结尾

nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin

sninf\_kenchoi:x:860:860::/home/sninf\_kenchoi:/bin/bash

gz\_fieldyang:x:859:859::/home/gz\_fieldyang:/bin/bash

gz\_kinma:x:857:857::/home/gz\_kinma:/bin/bash

sninf\_tonyhung:x:856:856::/home/sninf\_tonyhung:/bin/bash

sninf\_simonlau:x:855:855::/home/sninf\_simonlau:/bin/bash

sninf\_kenchan:x:854:854::/home/sninf\_kenchan:/bin/bash

sninf\_thomaschan:x:853:853::/home/sninf\_thomaschan:/bin/bash

gz\_jones:x:851:851::/home/gz\_jonesyan:/bin/bash

...

\# -t指定分隔符为分号，\-K指定以第3个字段进行排序，n表示以整数比较，r表示逆序

**实例4：以唯一的GID排序**

\[gz\_fieldyang@test ~\]$ sort -t: -k4n -u /etc/passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

news:x:9:13:news:/etc/news:

...

\# -t指定分隔符为分号，\-K指定以第4个字段进行排序，n表示以整数比较，u表示唯一排序

**2).文本块排序**

\[gz\_fieldyang@test ~\]$ cat > my-friends

\#SORTKEY: ma,Kin

Kin ma

zhujiangxincheng 78

D-305 Letaijie

TaiShan

\#SORTKEY:yan,Jones

Jones yan

Dongpu 68

B\_602 Dongpujie

YangJiang

\#SORTKEY:wu,Will

Will wu

Shangshe 36

A\_205 Heguanlu

MaoMing

\[gz\_fieldyang@test ~\]$ cat my-friends |

awk -v RS="" '\{ gsub("\\n", "^Z"); print \}' |

sort -f

\#SORTKEY: ma,Kin ^ZKin ma^Zzhujiangxincheng 78 ^ZD-305 Letaijie ^ZTaiShan

\#SORTKEY:wu,Will^ZWill wu^ZShangshe 36^ZA\_205 Heguanlu^ZMaoMing

\#SORTKEY:yan,Jones ^ZJones yan^ZDongpu 68^ZB\_602 Dongpujie ^ZYangJiang

\[gz\_fieldyang@ test ~\]$ cat my-friends |  \#在地址数据文件里的管道

awk -v RS="" '\{ gsub("\\n", "^Z"); print \}' |   \#转换地址为单个行

sort -f |                                                                       \#排序地址数据，忽略大小写

awk -v ORS="\\n" '\{ gsub("^Z", "\\n"); print \}'

\#恢复行结构，注意：部分版本无法恢复

\#gsub()功能为全局性替换，类似于sed下的s/x/y/g架构

\#SORTKEY: ma,Kin

Kin ma

zhujiangxincheng 78

D-305 Letaijie

TaiShan

\#SORTKEY:wu,Will

Will wu

Shangshe 36

A\_205 Heguanlu

MaoMing

\#SORTKEY:yan,Jones

Jones yan

Dongpu 68

B\_602 Dongpujie

YangJiang

\[gz\_fieldyang@ test ~\]$ cat my-friends |

awk -v RS="" '\{ gsub("\\n", "^Z"); print \}' |

sort -f |

awk -v ORS="\\n" '\{ gsub("^Z", "\\n"); print \}' |

grep -v '\# SORTKRY'                           \#删除标记行

**3).sort的稳定性：不稳定**

** **

\[gz\_fieldyang@ test ~\]$ sort -t\_ -k1,1 -k2,2 << EOF

> one\_two

> one\_two\_three

> one\_two\_four

> one\_two\_five

> EOF

one\_two

one\_two\_five

one\_two\_four

one\_two\_three

**4).删除重复**

**uniq ：过滤数据**

**选项 :**

**        \-c 显示重复次数**

**        \-d 仅显示重复行**

**        \-u 仅显示未重复行**

**用法：**

**sort ... | uniq ...**

** **

**实例：**

\[gz\_fieldyang@ test ~\]$ cat > number

one

two

threefour

four

five

two

one

\[gz\_fieldyang@ test ~\]$ sort number | uniq\#排序

five

four

one

threefour

two

\[gz\_fieldyang@ test ~\]$ sort number | uniq -c \#顺带显示重复次数

1 five

2 one

1 threefour

2 two

\[gz\_fieldyang@test ~\]$ sort number | uniq -d \#仅显示重复行

one

two

\[gz\_fieldyang@test ~\]$ sort number | uniq -u\#仅显示未重复行

five

threefour

\[gz\_fieldyang@test ~\]$

文本处理工具之sort，uniq实例详解

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 Linux文本处理工具

相关 linux文本解析,linux 文本处理工具之一grep命令详解

相关 Linux文本处理工具

相关文本处理三剑客之grep详解

相关 Linux文本数据提取之head,tail实例详解

相关文本处理工具之sort，uniq实例详解

相关 sed文本处理工具

相关 Linux Shell 文本处理工具

相关 Linux shell文本处理工具

相关 sed文本处理工具-sed命令详解