awk的使用

﹏ヽ暗。殇╰゛Y 2022-05-16 04:30 226阅读 0赞

*  `grep`:用于过滤文本;
 *  `sed`:流编辑器;
 *  `awk`是一个报告生成器,用于将信息进行格式化之后,然后进行显示,通常使用的是  
    ![这里写图片描述][70]
 *  `awk`的基本处理机制:
    
     *  `awk`每一次读取其中的一行文本,然后按照分隔符进行切片,在`awk`内部按照每一个变量来引用分隔符分开的各个字段,使用`$0`:表示该行文本的内容,`$1-->$n`用于表示之后的每一段文字的切片,在指定输出格式时`awk '{print $1,$2}' a.text`,但是在输出时,使用的是默认的分隔符;指定分隔符使用的是`-F`选项;  
        ![这里写图片描述][70 1]
 *  `print`的使用格式:
 *  注意:
    
     *  1.各个项目之间使用`,`进行分割,而输出默认是空白字符;
     *  2.输出的`item`可以为字符串或者数值,当前记录的字段`$1--->$n`,变量或者`awk`的表达式,对于数值会转换成为字符串然后进行输出;
     *  3.`print`命令后面的`item`可以省略,相当于`print $0`,想要输出空白行,则需要使用`print " "`;
 *  **内置变量**
 *  记录变量:
 *  `FS: filed separator`:表示输入分隔符号,默认是空白字符,可以通过`-F`指定,也可以通过`FS`变量进行指定,通常表示的是按照行读取每一行文本时,使用的字段分隔符号;  
    ![这里写图片描述][70 2]
 *  `RS`:表示的含义输入文本时,使用的分隔符号,也就是行结束符号;
 *  `OFS`:用于指定输出字段分隔符号;
 *  `ORS`:用于指定的是输出行字段分隔符号;
 *  数据变量:
 *  `NR`:用于表示`awk`命令所处理的记录数,如果有多个文件,这个数目会将会把多个文件的行统一计数;  
    ![这里写图片描述][70 3]
 *  `FNR`:同样是用于计数,但是对于多个文件是分开计数的.用于记录当前文件被处理的行数;  
    ![这里写图片描述][70 4]
 *  `NF`:记录当前`filed`的个数;  
    ![这里写图片描述][70 5]
 *  `ARGV`:是一个数组,用于保存命令本身这个字符串,例如`awk '{print $0}' a.txt b.txt`,其中`ARGV[0]`保存的就是`awk`,`ARGV[1]`保存的就是`'{print $0}'`;
 *  `ARGC`:表示`awk`命令执行参数的个数;
 *  `FILENAME`:当前`shell`环境变量以及其值的关联数组;
 *  用户自定义变量:
 *  `gawk`允许用户自定义变量,变量的命名规则:只能够使用数字字母和下划线,但是不能够使用数字开头,并且严格区分大小写;
 *  用户自定义变量的两种方式:  
    ![这里写图片描述][70 6]
 *  **printf的使用**
 *  1.和`print`的不同在于`printf`需要指定`format`;
 *  2.`format`用于指定后面的每个`item`的输出格式;
 *  3.`printf`语句不会自动打印换行符号;
 *  `format`的格式都是使用`%`开头,后面跟一个字符,如下:
    
     *  `%c`:显示字符的`ASCII`码;
     *  `%d.%i`:用于显示字符的十进制数;
     *  `%e %E`:使用科学计数法显示数值;
     *  `%f`:显示浮点数;
     *  `%g %G`:使用科学计数法的格式或者浮点数的格式显示数值;
     *  `%s`:显示字符串;
     *  `%u`:无符号整数;
     *  `%%`:显示`%`本身;
 *  使用的几个修饰符:
    
     *  `N`:显示宽度;
     *  `-`:左对齐;
     *  `+`:显示数值符号;  
        ![这里写图片描述][70 7]
 *  **重定向操作**
 *  特殊文件描述符号:
    
     *  `/dev/stdin`:标准输入;
     *  `/dev/stdout`:标准输出;
     *  `/dev/stderr`:错误输出;
     *  `/dev/fn/n`:某个特定的文件描述符号;
 *  使用上面的方式来支持重定向操作  
    ![这里写图片描述][70 8]
 *  **支持算术表达式**
 *  `-x +x x^y x**y x/y x+y x-y x%y`
 *  需要注意的是,如果某个模式为`"`号,使用`/"/`会导致语法错误,应该使用的`/[*]/`来代替;
 *  布尔值
 *  `awk`中,任何非`0`值或者非空字符串都为真,反之为假;
 *  `x<y x>y x<=y x>=y x==y`
 *  `x~y`:表示`x`符合于正则表达式`y`的要求;
 *  `x!~y`:表示`x`不符合于正则表达式`Y`的要求;
 *  表达式之间的逻辑关系运算符号
 *  `&&`:表示与关系;
 *  `||`:表示或关系;
 *  条件表达式
 *  `selector?of-true-exp:if-false-exp`
 *  函数调用
 *  `function_name(para1,para2)`
 *  **awk的模式**
 *  `Regexp`:正则表达式,格式为`/regular expression/`;  
    ![这里写图片描述][70 9]
 *  `expression`:支持表达式,其值为非`0`或者为非空字符时满足条件,如:`$1 ~ /foo/`或者使用`$1 == "lixxun"`;  
    ![这里写图片描述][70 10]
 *  显示用户的`shell`类型为`bash`的  
    ![这里写图片描述][70 11]
 *  `range`指定模式进行匹配,格式为`pat1, pat2`  
    ![这里写图片描述][70 12]
 *  `BEGIN/END`:表示特殊模式,仅在`awk`命令执行前运行一次或者结束前运行一次;  
    ![这里写图片描述][70 13]
 *  **常见的action**
 *  `expression`:赋值表达式,判断表达式;
 *  `Control statement`:控制语句;
 *  控制语句:
 *  `if-else`:

if (condition) {then-body} else {[else-body]}

*  例如`awk -F: '{if ($1=="root") print $1,"Admin";else print $1,"Common User"}' /etc/passwd;`  
    ![这里写图片描述][70 14]
 *  或者:  
    ![这里写图片描述][70 15]
 *  统计系统上面存在多少个`UID>500`的用户  
    ![这里写图片描述][70 16]
 *  `while`语句:

while (condition){statement1;statement2;...}

*  例如判断每一行中的每一字段的长度是否大于`4`

![这里写图片描述][70 17]

*  `do-while`循环:
 *  `do {statement1,statement2,....} while (conditaion)`

![这里写图片描述][70 18]

*  `for`循环是用来遍历数组的

for (variable assignment; condition;iteration process) {statement1,statement2,...}

![这里写图片描述][70 19]

*  支持`case`语句

switch (expression) {case VALUE or /REGEXP/:statement1,statement2,...default:statement1,...}

*  `break`和`continue`:
 *  用于结束寻循环和`case`语句,通常处理的字段;
 *  `next`
 *  提前结束对于本行文本的处理,并接着处理下一行;例如:显示`ID`号为奇数的用户;  
    ![这里写图片描述][70 20]
 *  **awk中的数组**
 *  `array[index-expression]`:`index-expression`可以使用任意字符串,需要注意的是,如果某数据组元素事先不存在,那么在引用其时,`awk`会自动创建此元素并初始化为空串,因此,要判断某数据组中是否存在某些元素,需要使用`index in array`的方式;
 *  如果需要遍历数组中的每一个元素,需要按照下面的方式

for (var in array) {statement1,statement2,...}

*  其中`var`用于引用数组下标,而不是数组元素;
 *  例子:  
    ![这里写图片描述][70 21]
 *  例如  
    ![这里写图片描述][70 22]
 *  统计`TCP`连接的状态  
    ![这里写图片描述][70 23]
 *  统计某日志文件中,`IP`地址的访问量

awk '{counts[$1]++}END{for(ip in counts) printf"%-20s:%d\n",ip,counts[ip]}}'

*  可以用于统计某个日志文件`IP`出现的次数;

[70]: /images/20220516/49072f59d739461aabe530c520b34cc1.png
[70 1]: /images/20220516/b9d064ff8194452bbfe2ad6ddc6db04f.png
[70 2]: /images/20220516/11426acdae464ca2953a754e2c99111a.png
[70 3]: /images/20220516/1366802bb73245fa9c695d39b0d1d60a.png
[70 4]: /images/20220516/9ad2900fa134449a8f40085de23f643d.png
[70 5]: /images/20220516/ae8b86ed891f4c7db220dfa0c0941db4.png
[70 6]: /images/20220516/36eff740be794658ac1ff61a95d1c890.png
[70 7]: /images/20220516/c860dcb0e77f40fe9d080ccd1cb2b77e.png
[70 8]: /images/20220516/3d5429372d094fb3b92adfcc46f7bdd9.png
[70 9]: /images/20220516/4e5c8886d03741b7845c428f0156ba6f.png
[70 10]: /images/20220516/03e2289d4d174c45a519a397bb32d71a.png
[70 11]: /images/20220516/93d6f63b04974e2fb2fa3e48ac58fccc.png
[70 12]: /images/20220516/242b5242a82f4405a3392c6ca0727bb7.png
[70 13]: /images/20220516/4b0071f820ff4edcaa194cd9d02cfeba.png
[70 14]: /images/20220516/a786c2e5b8f44b4cb59f5e31ac10f8cc.png
[70 15]: /images/20220516/af6e26b0634e4049a694157cdbe2fa5c.png
[70 16]: /images/20220516/7676883b25ab451599d00acf949256f4.png
[70 17]: /images/20220516/e14f5148ab7f4ad39fdf895d6689b2cf.png
[70 18]: /images/20220516/5239c903ebd940eea224dc87e4a75de3.png
[70 19]: /images/20220516/e97a13484411442e82606f86f01352b4.png
[70 20]: /images/20220516/a3965b1dbcce4038b4f5e22aa6a72a02.png
[70 21]: /images/20220516/b975592fc44f4b3d89a5e6e2caa56ed5.png
[70 22]: /images/20220516/55df9c03c26d470ca32b6036569c642d.png
[70 23]: /images/20220516/b92d1b2dd8f54aaf869704efeae9c960.png