Linux 文本处理三剑客之 Awk

朱雀 2023-05-28 14:28 317阅读 0赞

![format_png][]

AWK是一种优良的文本处理工具。它不仅是 [Linux][] 中也是任何环境中现有的功能最强大的数据处理引擎之一。这种编程及[数据操作语言][Link 1]（其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母）的最大功能取决于一个人所拥有的知识。AWK 提供了极其强大的功能：可以进行样式装入、[流控制][Link 2]、数学[运算符][Link 3]、进程[控制语句][Link 4]甚至于内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。实际上 AWK 的确拥有自己的语言：AWK [程序设计语言][Link 5]， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为[数据排序][Link 6]、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。

最简单地说， AWK 是一种用于处理文本的编程语言工具。AWK 在很多方面类似于 shell 编程语言，尽管 AWK 具有完全属于其本身的语法。它的设计思想来源于 SNOBOL4 、sed 、Marc Rochkind设计的有效性语言、语言工具 yacc 和 lex ，当然还从 C 语言中获取了一些优秀的思想。在最初创造 AWK 时，其目的是用于文本处理，并且这种语言的基础是，只要在输入数据中有模式匹配，就执行一系列指令。该实用工具扫描文件中的每一行，查找与命令行中所给定内容相匹配的模式。如果发现匹配内容，则进行下一个编程步骤。如果找不到匹配内容，则继续处理下一行。

![20200321151808695.png][]

*  Awk 的语法：

awk '\{pattern + action\}' 或者 awk 'pattern \{action\}'

awk \[ -F re\] \[parameter...\] \['prog'\] \[-f progfile\]

*  参数说明：

\-F re：允许awk更改其字段[分隔符][Link 7]。

parameter: 该参数帮助为不同的变量赋值。

'prog': awk的程序语句段。这个语句段必须用单括号：'和'括起，以防被shell解释。这个程序语句段的标准形式为：'pattern \{action\}'

其中 pattern 参数可以是 egrep [正则表达式][Link 8]中的任何一个，它可以使用语法 /re/ 再加上一些样式匹配技巧构成。与 sed 类似，你也可以使用"," 分开两样式以选择某个范围。action参数总是被大括号包围，它由一系列awk语句组成，各语句之间用";"分隔。awk解释它们，并在pattern给定的样式匹配的记录上执行其操作。与shell类似，你也可以使用“\#”作为[注释符][Link 9]，它使“\#”到行尾的内容成为注释，在[解释执行][Link 10]时，它们将被忽略。你可以省略pattern和 action之一，但不能两者同时省略，当省略pattern时没有样式匹配，表示对所有行（记录）均执行操作，省略action时执行缺省的操作——在标准输出上显示。

\-f progfile：允许awk调用并执行progfile指定有[程序文件][Link 11]。progfile是一个文本文件，他必须符合awk的语法。

in\_file:awk的输入文件，awk允许对多个输入文件进行处理。值得注意的是awk不修改输入文件。如果未指定输入文件，awk将接受标准输入，并将结果显示在标准输出上。awk支持输入输出重定向。

awk处理的工作与数据库的处理方式有相同之处，其相同处之一就是awk支持对记录和字段的处理，其中对字段的处理是grep和sed不能实现的，这也是awk优于二者的原因之一。在awk中，缺省的情况下总是将文本文件中的一行视为一个记录，而将一行中的某一部分作为记录中的一个字段。为了操作这些不同的字段，awk借用shell的方法，用1,2,3...这样的方式来顺序地表示行（记录）中的不同字段。特殊地，awk用0表示整个行（记录）。不同的字段之间是用称作[分隔符][Link 7]的[字符][Link 12]分隔开的。系统默认的分隔符是空格。awk允许在命令行中用-F re的形式来改变这个分隔符。事实上，awk用一个内置的变量RS来记忆这个分隔符。awk中有好几个这样的内置变量，例如，记录分隔符变量RS、当前工作的记录数NR等等，这些内置的变量可以在awk程序中引用或修改，例如，你可以利用NR变量在模式匹配中指定工作范围，也可以通过修改记录分隔符RS让一个特殊字符而不是换行符作为记录的分隔符。

*  **Awk的内置变量**：

ARGC[命令行参数][Link 13]个数（不包括awk的选项和awk的程序内容）

ARGIND 当前正在处理的ARGV中的文件的索引值（同时处理多个文件时会用到）

ARGV 命令行参数序列[数组][Link 14]，下标从0开始

CONVFMT 数字转换格式，和C语言中的数字输出格式化类似，默认为"%.6g"

ENVIRON 当前系统的环境变量

ERRNO 出错时的错误信息

FIELDWIDTHS 以空格分隔的字段宽度，awk会用指定的宽度替换变量FS指定的[分隔符][Link 7]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70][]

FILENAME 当前正在处理的文件名，该变量不能在BEGIN块中使用

[FNR][]当前处理的记录号

FS 字段的[分隔符][Link 7]，默认为空格

IGNORECASE 如果该变量设置为非0值，在进行[字符串匹配][Link 15]时忽略大小写

NF 当前记录中的字段个数

NR 已经读出的记录数

OFMT 数字的输出格式

OFS 输出的字段分隔符，默认为空格

ORS 输出的记录分隔符，默认为新行

RS 输入记录的[分隔符][Link 7]，默认为新行

RSTART 被match（）函数匹配的字符串的起始位置，如果没有匹配则为0（从1开始）

RLENGTH 被match（）函数匹配的字符串的长度

SUBSEP[数组][Link 14]中多个下标的分隔符，默认为"\\034"

* **内置函数**
 
 Awk 之所以成为一种优秀的[程序设计语言][Link 5]的原因之一是它吸收了某些优秀的程序设计语言（例如C）语言的许多优点。这些优点之一就是内置函数的使用，awk定义并支持了一系列的内置函数，由于这些函数的使用，使得awk提供的功能更为完善和强大，例如，awk使用了一系列的字符串处理内置函数(这些函数看起来与C 语言的字符串处理函数相似，其使用方式与C语言中的函数也相差无几)，正是由于这些内置函数的使用，使awk处理字符串的功能更加强大。本文后面的附录中列有一般的awk所提供的内置函数，这些内置函数也许与你的awk版本有些出入，因此，在使用之前，最好参考一下你的系统中的联机帮助。
 
 Awk内置的字符串函数
 
 <table style="width:507px;"> 
 <tbody> 
 <tr> 
 <td style="width:177px;"> gsub(r,s) </td> 
 <td style="width:328px;"> 在整个$0中用s代替r </td> 
 </tr> 
 <tr> 
 <td style="width:177px;"> gsub(r,s,t) </td> 
 <td style="width:328px;"> 在整个t中用s替代r </td> 
 </tr> 
 <tr> 
 <td style="width:177px;"> index(s,t) </td> 
 <td style="width:328px;"> 返回s中字符串t的第一位置 </td> 
 </tr> 
 <tr> 
 <td style="width:177px;"> length(s) </td> 
 <td style="width:328px;"> 返回s长度 </td> 
 </tr> 
 <tr> 
 <td style="width:177px;"> match(s,r) </td> 
 <td style="width:328px;"> 测试s是否包含匹配r的字符串 </td> 
 </tr> 
 <tr> 
 <td style="width:177px;"> split(s,a,fs) </td> 
 <td style="width:328px;"> 在fs上将s分成序列a </td> 
 </tr> 
 <tr> 
 <td style="width:177px;"> sprint(fmt,exp) </td> 
 <td style="width:328px;"> 返回经fmt格式化后的exp </td> 
 </tr> 
 <tr> 
 <td style="width:177px;"> sub(r,s) </td> 
 <td style="width:328px;"> 用$0中最左边最长的子串代替s </td> 
 </tr> 
 <tr> 
 <td style="width:177px;"> substr(s,p) </td> 
 <td style="width:328px;"> 返回字符串s中从p开始的后缀部分 </td> 
 </tr> 
 <tr> 
 <td style="width:177px;"> substr(s,p,n) </td> 
 <td style="width:328px;"> 返回字符串s中从p开始长度为n的后缀部分 </td> 
 </tr> 
 </tbody> 
 </table>
 
 gsub函数有点类似于sed查找和替换。它允许替换一个字符串或字符为另一个字符串或字符，并以[正则表达式][Link 8]的形式执行。第一个函数作用于记录$0，第二个gsub函数允许指定目标，然而，如果未指定目标，缺省为$0。
 
 index(s，t）函数返回目标字符串s中查询字符串t的首位置。length函数返回[字符][Link 12]串s字符长度。
 
 match函数测试字符串s是否包含一个正则表达式r定义的匹配。
 
 split使用域[分隔符][Link 7]fs将字符串s划分为指定序列a。
 
 sprint函数类似于printf函数，返回基本输出格式fmt的结果字符串exp。
 
 sub(r，s）函数将用s替代$0中最左边最长的子串，该子串被r匹配。
 
 substr(s，p）返回字符串s在位置p后的后缀。
 
 substr(s，p，n）同上，并指定子串长度为n。
 * 显示文本文件 /etc/passwd 匹配（含有）字符串"root"的所有行
 * awk '/root/' /etc/passwd
 * 由于显示整个记录（全行）是awk的缺省动作，因此可以省略action项
 * awk '/\[Rr\]oot/,/\[Gg\]f/ ' /etc/passwd
 * 显示所有匹配 Root 或 root 的行与匹配 Gf 或 gf 的行之间的行，并显示到标准输出上

![20200321154036134.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 1][]

*  显示 /etc/passwd 有root 关键字的所有行，并显示对应的名称和 shell
 *  awk -F: '/root/ \{print $1,$7\}' /etc/passwd
 *  awk -F: '/^root/ \{print $1,$7\}' /etc/passwd  \#锚定行首
 *  统计 /etc/passwd 文件名，每行的行号，每行的列数，对应的完整行内容
 *  awk -F: '\{printf ("filename:%10s, linenumber:%3s, column:%3s, content:%3s \\n", FILENAME,NR,NF,$0)\}' /etc/passwd
 *  显示 /etc/passwd 的第二行信息
 *  awk -F: 'NR==2\{print "filename: "FILENAME, $0\}' /etc/passwd

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 2][]

*  awk的过滤使用方法
 *  ll -aF | awk '/^-/'  
    ll -aF | awk '/^d/'

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 3][]

*  指定特定的分隔符
 *  pwd | awk -F "/" '\{print $1,$2,$3\}'

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 4][]

*  指定特定的分隔符，查询倒数第二列
 *  pwd | awk -F/ '\{print $0,$(NF-1)\}'

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 5][]

* 获取第10到20行的第一列的信息
 * `awk -F: '{if(NR<20 && NR>10) print $1}' /etc/passwd`
 * awk '\{if(NR>=10 && NR<=15) print $1\}' /etc/passwd

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 7][]

*  多分隔符的使用
 *  awk -F "\[-/\]" 'NR == 1 \{print NR,$0,"\\n",$1,"\\n",$2,"\\n",$3\}' /tmp/test.txt

![20200321164453321.png][]

*  BEGIN 和 END
 *  cat /etc/passwd | awk -F: 'BEGIN\{print "name, shell"\} \{print $1,$NF\} END\{print "hello  world"\}'

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 8][]

*  查看最近登录最多的IP信息
 *  last | awk '\{S\[$3\]++\} END\{for(a in S ) \{print S\[a\],a\}\}' |uniq| sort -rh
 *  last | awk '\{a\[$3\] += 1;\} END \{for (i in a) printf("%d %s\\n", a\[i\], i);\}' | sort -rh
 *  awk每次读取一行，$3就是IP，\{S\[$3\]++\} 是将IP作为一个数组，统计IP所对应的数组元素自增1.END后面的语句是打印结果，只执行一次。sort -r 逆向排序 -h, --human-numeric-sort   使用易读性数字

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 10][]

*   结合正则过滤多个空格
 *  ifconfig | grep "\[eth\*|lo\]" | awk -F '\[ \]+' '\{print $1\}'

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 11][]

* **awk编程--变量和赋值**
 * 统计显示/etc/passwd的账户
 * awk -F ':' 'BEGIN \{count=0;\} \{name\[count\] = $1;count++;\}; END\{for (i = 0; i < NR; i++) print i, name\[i\]\}' /etc/passwd
 * count是自定义变量。之前的action\{\}里都是只有一个print,其实print只是一个语句，而action\{\}可以有多个语句，以;号隔开

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 12][]

* 取最大值和最小值
 * ll | awk 'BEGIN \{max = 0\} \{if ($5>max) max=$5 \} END \{print "Max=", max\}'
 * awk 'BEGIN \{min = 65536\} \{if ($2+0 < min+0) min=$2 fi\} END \{print "Min=", min\}'
 *

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 13][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 14][]

*  获取本机 IP 地址
 *  ifconfig eth0 | awk 'BEGIN\{FS="\[\[:space:\]:\]+"\} NR==2\{print $4\}'
 *  内建变量FS保存输入域分隔符的值，默认是**空格或tab，**NR 已经读出的记录数，NR==2也就是取第2行

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 15][]

[format_png]: /images/20230528/2977a167ab674013960e1af80a71d27f.png
[Linux]: https://baike.baidu.com/item/Linux
[Link 1]: https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E6%93%8D%E4%BD%9C%E8%AF%AD%E8%A8%80
[Link 2]: https://baike.baidu.com/item/%E6%B5%81%E6%8E%A7%E5%88%B6
[Link 3]: https://baike.baidu.com/item/%E8%BF%90%E7%AE%97%E7%AC%A6
[Link 4]: https://baike.baidu.com/item/%E6%8E%A7%E5%88%B6%E8%AF%AD%E5%8F%A5
[Link 5]: https://baike.baidu.com/item/%E7%A8%8B%E5%BA%8F%E8%AE%BE%E8%AE%A1%E8%AF%AD%E8%A8%80
[Link 6]: https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E6%8E%92%E5%BA%8F
[20200321151808695.png]: /images/20230528/dfc6811352f3453a8fbe77a6d59bd4d7.png
[Link 7]: https://baike.baidu.com/item/%E5%88%86%E9%9A%94%E7%AC%A6
[Link 8]: https://baike.baidu.com/item/%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F
[Link 9]: https://baike.baidu.com/item/%E6%B3%A8%E9%87%8A%E7%AC%A6
[Link 10]: https://baike.baidu.com/item/%E8%A7%A3%E9%87%8A%E6%89%A7%E8%A1%8C
[Link 11]: https://baike.baidu.com/item/%E7%A8%8B%E5%BA%8F%E6%96%87%E4%BB%B6
[Link 12]: https://baike.baidu.com/item/%E5%AD%97%E7%AC%A6
[Link 13]: https://baike.baidu.com/item/%E5%91%BD%E4%BB%A4%E8%A1%8C%E5%8F%82%E6%95%B0
[Link 14]: https://baike.baidu.com/item/%E6%95%B0%E7%BB%84
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70]: /images/20230528/36ce367cd118446f8d7e6e498efb350a.png
[FNR]: https://baike.baidu.com/item/FNR
[Link 15]: https://baike.baidu.com/item/%E5%AD%97%E7%AC%A6%E4%B8%B2%E5%8C%B9%E9%85%8D
[20200321154036134.png]: /images/20230528/1b5fd36b9b394ecc900f7c39cff51444.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 1]: /images/20230528/85546ada01ac4495a05af2b55f2f3cb9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 2]: /images/20230528/baec6890eed841ffb7db69a3a9988a28.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 3]: /images/20230528/92d6ab0e17f346719094c598e53a0f58.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 4]: /images/20230528/fc8f185cc1884b6caa408b5cee3e3044.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 5]: /images/20230528/e915aff0f0984639a831a4d0c9944623.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 6]: /images/20230528/35a7eaee3cf1428898e7d7a71ecddb09.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 7]: /images/20230528/00d34d54e38a4552ae53b5f009128c26.png
[20200321164453321.png]: /images/20230528/a438eb4bcc4a4aec99e51a47a91142c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 8]: /images/20230528/d28d773c7bdf4834819f3ff6c1ca2efb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 9]: /images/20230528/c96d768e23c243fa9bfbe5cb857390da.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 10]: /images/20230528/1907bb1e6f8441a4a2a5063e99dd316b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 11]: /images/20230528/f5a3c667a66243528bbe04ef947e1382.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 12]: /images/20230528/bbbd86f24c774c5d8b44af2d4c125722.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 13]: /images/20230528/f4f628e2ac65493191414cd26bcceb0f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 14]: /images/20230528/8b7415d68ec849d0916721f52034da33.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 15]: /images/20230528/7521b0bfd3694c42b87051173e7c7161.png