请你谈谈Linux中用于文本处理的awk命令？

逃离我推掉我的手 2022-10-07 03:59 195阅读 0赞

![d78f0dfb84edd8f46be7972cc319bae5.png][]

导读：awk是流式编辑器，针对文档中的行来操作，一行一行地执行。awk可以非常方便、高效地操作文档以及字符，从而实现我们想要的格式。它的功能非常强大，我在 shell 脚本中经常使用它来处理字符串。下面介绍几个在工作中使用awk较频繁的用法。

1. 截取文档中的某个段

示例命令如下：

# head -n2 test.txt |awk -F ':' '{print $1}'
    root
    bin

本例中，`-F`选项的作用是指定分隔符。如果不加`-F`选项，则以空格或者`tab`为分隔符。`print`为打印的动作，用来打印某个字段。`$1`为第 1 个字段，`$2`为第 2 个字段，以此类推。但`$0`比较特殊，它表示整行：

# head -n2 test.txt |awk -F':' '{print $0}'
    root:x:0:0:root:/root:/bin/bash
    bin:x:1:1:bin:/bin:/sbin/nologin

注意 `awk`的格式，`-F`后面紧跟单引号，单引号里面为分隔符。`print`的动作要用`{}`括起来，否则会报错。`print`还可以打印自定义的内容，但是自定义的内容要用双引号括起来，如下所示：

# head -n2 test.txt |awk -F ':' '{print $1"#"$2"#"$3"#"$4}'
    root#x#0#0
    bin#x#1#1

###     ###

### 2. 匹配字符或者字符串 ###

在文档中过滤出包含指定字符串的行，示例命令如下：

# awk '/oo/' test.txt
    root:x:0:0:root:/root:/bin/bash
    lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
    mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    operator:x:11:0perator:/root:/sbin/nologin postfix:x:89:89::/var/spool/postfix:/sbin/nologin setroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin

这跟 `sed`的用法类似，能实现`grep`的功能，但没有颜色显示，肯定没有`grep`用起来方便。不过`awk`还有比`sed`更强大的匹配，如下所示：

# awk -F ':' '$1 ~/oo/' test.txt
    root:x:0:0:root:/root:/bin/bash
    setroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin

它可以让某个段去匹配，这里的~就是匹配的意思。

此外，`awk`还可以多次匹配，如下所示：

# awk -F ':' '/root/ {print $1,$3} /test/ {print $1,$3}' test.txt
    root 0
    operator 11
    test 1006

本例中，`awk`匹配完`root`，再匹配`test`，并且只打印所匹配的段。

### 3. 条件操作符 ###

有时候，在匹配字符的同时要给出限定条件，比如第 3 段为 `0`。示例命令如下：

# awk -F ':' '$3=="0"' /etc/passwd
    root:x:0:0:root:/root:/bin/bash

在 `awk`中，我们可以用逻辑符号进行判断，比如`==`就是等于，也可以理解为精确匹配。另外，还有`>`、`>=`、`、、!=等。值得注意的是，在和数字比较时，若把要比较的数字用双引号引起来，那么 awk 不会将其认为是数字，而会认为是字符，不加双引号就会认为是数字。示例命令如下：`

# awk -F ':' '$3>="500"' /etc/passwd |head -n 5
    shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
    halt:x:7:0:halt:/sbin:/sbin/halt
    mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
    dbus:x:81:81:System message bus:/:/sbin/nologin

本例中，阿铭本想把 uid 大于等于 500 的行打印出来，但是结果并不理想。这是因为 `awk`把所有的数字都当作字符了，就跟上一章中提到的`sort`排序原理一样。但是，如果不加双引号，就得到了想要的结果：

# awk -F ':' '$3>=500' /etc/passwd|head -n 5
    nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
    systemd-coredump:x:999:997:systemd Core Dumper:/:/sbin/nologin
    polkitd:x:998:996:User for polkitd:/:/sbin/nologin
    geoclue:x:997:995:User for geoclue:/var/lib/geoclue:/sbin/nologin
    unbound:x:996:991:Unbound DNS resolver:/etc/unbound:/sbin/nologin

# awk -F ':' '$7!="/sbin/nologin"' /etc/passwd
    root:x:0:0:root:/root:/bin/bash
    sync:x:5:0:sync:/sbin:/bin/sync
    shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
    halt:x:7:0:halt:/sbin:/sbin/halt
    aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash

上例中，`!=`表示不匹配，它除了针对某一个段的字符进行逻辑比较外，还可以在两个段之间进行逻辑比较。如下所示：

# awk -F ':' '$3

另外，还可以使用 `&&`和`||`，它们分别表示“并且”和“或者”。`&&`的用法如下：

# awk -F ':' '$3>"5" && $3

`||`的用法如下：

# awk -F ':' '$3>1000 || $7=="/bin/bash"' /etc/passwd
    root:x:0:0:root:/root:/bin/bash
    nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
    aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash

### 4. awk 的内置变量 ###

`awk`常用的变量有`OFS`、`NF`和`NR`。`OFS`和`-F`选项有类似的功能，也是用来定义分隔符的，但是它是在输出的时候定义的。`NF`表示用分隔符分隔后一共有多少段。`NR`表示行号。

`OFS`的用法示例如下：

# head -5 /etc/passwd |awk -F ':' '{OFS="#"} {print $1,$3,$4}'
    root#0#0
    bin#1#1
    daemon#2#2
    adm#3#4
    lp#4#7

还有更高级一些的用法：

# awk -F ':' '{OFS="#"} {if ($3>=1000) {print $1,$2,$3,$4}}' /etc/passwd
    nobody#x#65534#65534
    aminglinux#x#1000#1000

变量 `NF`的具体用法如下：

# head -n3 /etc/passwd | awk -F ':' '{print NF}'
    7
    7
    7

# head -n3 /etc/passwd | awk -F ':' '{print $NF}'
    /bin/bash
    /sbin/nologin
    /sbin/nologin

这里 `NF`是多少段，`$NF`是最后一段的值。变量`NR`的具体用法如下：

# head -n3 /etc/passwd | awk -F ':' '{print NR}'
    1
    2
    3

我们还可以使用 `NR`作为判断条件，如下所示：

# awk 'NR>40' /etc/passwd
    insights:x:978:976:Red Hat Insights:/var/lib/insights:/sbin/nologin
    sshd:x:74:74rivilege-separated SSH:/var/empty/sshd:/sbin/nologin avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin tcpdump:x:72:72::/:/sbin/nologin aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash

`NR`也可以配合段匹配一起使用，如下所示：

# awk -F ':' 'NR

### 5. awk 中的数学运算 ###

`awk`可以更改段值，示例命令如下：

# head -n 3 /etc/passwd |awk -F ':' '$1="root"'
    root x 0 0 root /root /bin/bash
    root x 1 1 bin /bin /sbin/nologin
    root x 2 2 daemon /sbin /sbin/nologin

`awk`也可以对各个段的值进行数学运算，示例命令如下：

# head -n2 /etc/passwd
    root:x:0:0:root:/root:/bin/bash
    bin:x:1:1:bin:/bin:/sbin/nologin

# head -n2 /etc/passwd |awk -F ':' '{$7=$3+$4}'

# head -n2 /etc/passwd |awk -F ':' '{$7=$3+$4; print $0}'
    root x 0 0 root /root 0
    bin x 1 1 bin /bin 2

`awk`还可以计算某个段的总和，示例命令如下：

# awk -F ':' '{(tot=tot+$3)}; END {print tot}' /etc/passwd
    84699

这里的 `END`是`awk`特有的语法，表示所有的行都已经执行。如下所示：

# awk -F ':' '{if ($1=="root") {print $0}}' /etc/passwd
    root:x:0:0:root:/root:/bin/bash

其实 `awk`可以写成一个脚本文件，而且有它特有的语法。在`awk`中使用`if`判断、`for`循环都可以，只是在日常管理工作中，使用那么复杂的语句并不常见。

最后，我们再附上常见正则字符的解释。

*  `.`表示任意一个字符，比如空格、特殊符号等。
 *  `*`表示`*`前面的字符有 0 个或多个，比如`a*`那就是 0 个`a`或者多个`a`。
 *  `.*`表示任意个任意字符，就是贪婪匹配了。
 *  `+`就是`+`前面的字符有 1 个或者多个，如`a+`就是`a`、`aa`、`aaa`……
 *  `?`就是`?`前面的字符有 1 个或者 0 个。
 *  `{ }`里面是一个范围，如`{1,5}`就是`{ }`前面的字符有 1~5 个。
 *  `|`表示或者，如`a|b`就是`a`或者`b`。
 *  表示这里面的任意一个字符，如`[abc]`就是`a`或者`b`或者`c`。此外，也可以用范围`[0-9]`表示任意一个数字，用`[a-z]`表示任意一个小写字母。
 *  `^`表示开头。
    
    `$`表示结尾。
 *

????**分享、点赞、在看**，给个**3连击**呗！**????**

[d78f0dfb84edd8f46be7972cc319bae5.png]: /images/20221005/519bfd6e77fd4b25a2b07e4b79b4a5c5.png