Linux常用基本命令：三剑客命令之-awk基础用法

小咪咪 2021-09-17 16:42 363阅读 0赞

awk是一个超级强大的文本格式化处理工具，他与grep, sed命令被成为linux 三剑客命令

### 三剑客命令的特点： ###

grep：只要用来匹配和查找文本

sed: 编辑匹配到文本

awk: 格式化文本，可以对复杂文本进行处理

awk语法格式：awk \[options\] 'program' file1 file2 ...

其中，program包含两部分：'pattern\{action\}'，最常用的两个action就是print和printf，如果学过c语言，你就知道，他们专门由于格式化字符串，　awk把处理过的格式文本，用他们输出

１，不使用任何选项，模式和action，　awk就相当于输出整个文件，awk的工作方式是：逐行扫描.　默认情况下　扫描行的时候，用空格分割列，输出的时候也是空格

使用print这个动作，打印文件所有的内容.

ghostwu@dev:~/linux/sed$ cat ghostwu.txt 
    this is ghostwu
    how are you
    fine thank you
    bye bye
    ghostwu@dev:~/linux/sed$ awk '{print}' ghostwu.txt 
    this is ghostwu
    how are you
    fine thank you
    bye bye

２，把ls -l 的结果通过管道交给awk逐行扫描处理，$1打印每一行的第一列，$3:每一行的第三列，$9就是第９列了...

ghostwu@dev:~/linux/sed$ ls -l
    total 4
    -rw-rw-r-- 1 ghostwu ghostwu 51 5月  21 23:23 ghostwu.txt
    ghostwu@dev:~/linux/sed$ ls -l | awk '{print $1}'
    total
    -rw-rw-r--
    ghostwu@dev:~/linux/sed$ ls -l | awk '{print $3}'
    
    ghostwu
    ghostwu@dev:~/linux/sed$ ls -l | awk '{print $9}'
    
    ghostwu.txt

ghostwu@dev:~/linux/sed$ cat ghostwu.txt 
    this is ghostwu
    how are you
    fine thank you
    bye bye
    ghostwu@dev:~/linux/sed$ awk '{print $3}' ghostwu.txt 
    ghostwu
    you
    you

３，$0表示整行，$NF表示当前行分割后的最后一列，他们都是内置变量

ghostwu@dev:~/linux/sed$ awk '{print $0}' ghostwu.txt 
    this is ghostwu
    how are you
    fine thank you
    bye bye
    ghostwu@dev:~/linux/sed$ awk '{print $NF}' ghostwu.txt 
    ghostwu
    you
    you
    bye

４，一次列出多列，使用逗号隔开要输出的列

ghostwu@dev:~/linux/sed$ cat ghostwu.txt 
    this is ghostwu
    how are you
    fine thank you
    bye bye
    ghostwu@dev:~/linux/sed$ awk '{print $1, $3}' ghostwu.txt 
    this ghostwu
    how you
    fine you
    bye

文件最后一行，没有第三列，所以没有输出任何东西

５，也可以加上自定义的列

ghostwu@dev:~/linux/awk$ ls
    ghostwu.txt
    ghostwu@dev:~/linux/awk$ awk '{print "name:" $1, "age:" $2, "sex:" $3}' ghostwu.txt 
    name:ghostwu age:20 sex:man
    name:zhangsan age:22 sex:woman
    name:lisi age:23 sex:woman
    ghostwu@dev:~/linux/awk$ cat ghostwu.txt 
    ghostwu 20 man
    zhangsan 22 woman
    lisi 23 woman

６，数字前面有美元符号的，是awk的内置变量，不能加引号，否则会把他们当做字符串原样输出

ghostwu@dev:~/linux/awk$ awk '{print "$1"}' ghostwu.txt 
    $1
    $1
    $1
    ghostwu@dev:~/linux/awk$ awk '{print $1}' ghostwu.txt 
    ghostwu
    zhangsan
    lisi

ghostwu@dev:~/linux/awk$ awk '{print "first-cloumn:"$1}' ghostwu.txt 
    first-cloumn:ghostwu
    first-cloumn:zhangsan
    first-cloumn:lisi

７，以下两种写法，都表示输出整行

ghostwu@dev:~/linux/awk$ awk '{print $0}' ghostwu.txt 
    ghostwu 20 man
    zhangsan 22 woman
    lisi 23 woman
    ghostwu@dev:~/linux/awk$ awk '{print}' ghostwu.txt 
    ghostwu 20 man
    zhangsan 22 woman
    lisi 23 woman

８，BEGIN模式，在AWK扫描行之前，执行

在扫描行之前，打印aa,bb

ghostwu@dev:~/linux/awk$ awk 'BEGIN{print "aa", "bb"}' ghostwu.txt 
    aa bb

如果胜省略文件，BEGIN模式依然会执行

ghostwu@dev:~/linux/awk$ awk 'BEGIN{print "aa", "bb"}'
    aa bb

BEGIN有什么用？我们可以在扫描文件的行之前，为每个列都加上表头信息

ghostwu@dev:~/linux/awk$ cat ghostwu.txt 
    ghostwu 20 man
    zhangsan 22 woman
    lisi 23 woman
    ghostwu@dev:~/linux/awk$ awk 'BEGIN{print "name", "age", "sex"} {print $1, $2, $3}' ghostwu.txt 
    name age sex
    ghostwu 20 man
    zhangsan 22 woman
    lisi 23 woman

９，扫描每一行，在每一行的后面加上自定义的列

ghostwu@dev:~/linux/awk$ awk 'BEGIN{print "name", "age", "sex"} {print $1, $2, $3} {print "展昭", 20, "man"}' ghostwu.txt 
    name age sex
    ghostwu 20 man
    展昭 20 man
    zhangsan 22 woman
    展昭 20 man
    lisi 23 woman
    展昭 20 man

10, 扫描完所有的行，在加上自己自定义的列信息，可以用END模式

ghostwu@dev:~/linux/awk$ awk 'BEGIN{print "name", "age", "sex"} {print $1, $2, $3} END{print "展昭", 20, "man"}' ghostwu.txt 
    name age sex
    ghostwu 20 man
    zhangsan 22 woman
    lisi 23 woman
    展昭 20 man