Linux中的awk命令

一时失言乱红尘 2021-08-19 22:15 465阅读 0赞

记得去年的时候，我写过一篇名叫[《Linux系统常用的基本命令》][Linux]的文章，本文算是它的一个补充，主要讲述Linux中的awk命令。因为水平有限，文章中难免会出现错误，如果不当之处，欢迎大家指出。一起来看一下吧~

--------------------

**一、选项参数说明**

awk是一种处理文本文件的语言，我们可以使用awk --help查看一下它的选项参数，如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70][]

**二、基本用法**

1、行匹配语句，此处awk后只能跟单引号，格式如下：

awk '{匹配的内容}' 匹配的文件名称

例如：

现有如下测试文件test：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1][]

使用如下命令输出文中每行的1、4项内容：

awk '{print $1,$4}' test

![20191116142455920.png][]

也可以添加如下内容使其格式化输出：

awk '{printf "%-8s %-10s\n",$1,$4}' test

![2019111614282176.png][]

2、指定分隔符

awk -F  # -F相当于内置变量FS，指定分割字符

例如：

有如下test文件：

![20191116143312180.png][]

执行如下命令，使用逗号分割输出每行的第一、二项内容：

awk -F, '{print $1,$2}' test

![20191116143944606.png][]

也可以使用内建变量，格式如下：

awk 'BEGIN{FS=","} {print $1,$2}' test

![20191116144139184.png][]

对于使用多个分隔符，首先使用空格分割，然后再使用其他分割符进行分割：

awk -F '[ ,]'  '{print $1,$2,$4}' test

![20191116144535615.png][]

3、设置变量

awk -v

例如：

现有如下数据：

![20191116145120384.png][]

执行如下命令，每行第一项加1：

awk -va=1 '{print $1,$1+a}' test

![20191116145241469.png][]

也可以使用如下命令设置多个变量：

awk -va=1 -vb=s '{print $1,$1+a,$1b}' test

![20191116145408776.png][]

4、通过awk脚本来运行awk命令

awk -f awk脚本 文件名

例如：

awk -f file.awk test

**三、运算符**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2][]

例如：

1、过滤第一列大于2的行

awk '$1>2' test

![20191116145838837.png][]

2、过滤等于2的列

awk '$1==2 {print $1,$3}' test

![20191116150119385.png][]

3、过滤第一列大于2并且第二列等于Are的行

awk '$1>2 && $2=="Are" {print $1,$2,$3}' test

**四、内建变量**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3][]

例如：

awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' test

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4][]

awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' test

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 5][]

awk '{print NR,FNR,$1,$2,$3}' test

![20191116152512442.png][]

awk '{print $1,$2,$5}' OFS=" $ " test

![20191116152555139.png][]

**五、使用正则，字符串匹配**

例如：

1、输出第二列包含“th”并打印第二列与第四列。

awk '$2 ~ /th/ {print $2,$4}' test

![20191116152925317.png][]

~表示模式开始，//中存放匹配的模式。

2、输出包含“re”的行

awk '/re/ ' test

![20191116153203178.png][]

**六、忽略大小写**

awk 'BEGIN{IGNORECASE=1} /this/' test

![20191116153311375.png][]

**七、模式取反**

awk '$2 !~ /th/ {print $2,$4}' test

![20191116153731518.png][]

awk '!/th/ {print $2,$4}' test

![20191116153755892.png][]

**八、awk脚本**

关于awk脚本，需要注意BEGIN和END两个关键词：

（1）BEGIN\{存放执行前的语句\}；

（2）END\{存放处理完所有的行后要执行的语句\}。

例如：

现有数据如下：

![20191116154227109.png][]

我们的awk脚本内容如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 6][]

执行结果如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 7][]

你们在此过程中遇到了什么问题，欢迎留言，让我看看你们都遇到了哪些问题。

[Linux]: https://blog.csdn.net/gdkyxy2013/article/details/81704388
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70]: /images/20210726/26399de28f1245e19749678297ff5917.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1]: /images/20210726/58022ce49f9648139ab8404c5ad62d17.png
[20191116142455920.png]: /images/20210726/06a699a8eab24f57a7b81ee498a723b0.png
[2019111614282176.png]: /images/20210726/8390dc6e5f6e4a99ba712d49a41ead99.png
[20191116143312180.png]: /images/20210726/dadea321777340a286d19f8beb2fe6cf.png
[20191116143944606.png]: /images/20210726/1125fdddc8aa4bb9bc72232e552d0739.png
[20191116144139184.png]: /images/20210726/642a172d06754eacb6d50c3f48420fe1.png
[20191116144535615.png]: /images/20210726/0ac11a1e31554815af0c633c57f6d2a4.png
[20191116145120384.png]: /images/20210726/4a26426672604ec09cbd93464981e058.png
[20191116145241469.png]: /images/20210726/2bc316fb8ace480793979329c70bf29e.png
[20191116145408776.png]: /images/20210726/5eab6f37776d40a48d7c828190049d37.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2]: /images/20210726/e5fd450714e84967bffdd0741797d69f.png
[20191116145838837.png]: /images/20210726/fcbe6a86b0ce4b0ab1325ba523b41690.png
[20191116150119385.png]: /images/20210726/2f19f60730c64b14929b5cf1409b60b4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3]: /images/20210726/288cc7b3e9f946dd94443dd5e98e6a13.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4]: /images/20210726/bb9c1000590943ff92cdae32dcf6a1b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 5]: /images/20210726/2d11be4325a24c5b9ca9a0e0c3f30641.png
[20191116152512442.png]: /images/20210726/d9ea2a04c9e74a0d9a165bc0e82d163a.png
[20191116152555139.png]: /images/20210726/65fa6a237d3342ee86d01d33f3c1dab6.png
[20191116152925317.png]: /images/20210726/5502594070cc48148fa9a958b4a4cecb.png
[20191116153203178.png]: /images/20210726/99ffe7f0ea814cff8632605c71128023.png
[20191116153311375.png]: /images/20210726/4aa73e1f845f459bbe15a833ef157652.png
[20191116153731518.png]: /images/20210726/e477d6da150f4710bca02a0bc3a6638d.png
[20191116153755892.png]: /images/20210726/5c97dc314e384fbe9b2d8b01b7a5d095.png
[20191116154227109.png]: /images/20210726/d14af61cef034b0fa343130fe8df35a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 6]: /images/20210726/206366beb46f44059f0d4b8476ff5ff9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 7]: /images/20210726/0db769154fc8447a9fc8783084c54a3f.png