shell awk （按行切割、分析）的基本使用

Dear 丶 2022-10-05 13:48 270阅读 0赞

### 文章目录 ###

*   *  1、基本用法
     *  2、案例实操
     *  3、内置变量的示列
     *   *  3.1、在 passwd 文件的每行前面加上的行号
         *  3.2、file1.txt 文件操作
         *  3.3、切割IP
         *  3.4、查询sed.txt中空行所在的行号
         *  3.5、求和，求学生成绩的总和。

awk ，一个强大的文本分析工具，把文件逐行的读入，以指定分隔符将每行切片，切开的部分再进行分析处理。

## 1、基本用法 ##

awk  [选项参数]  'pattern1{action1} pattern2{action2}...'  filename

**选项参数说明：**

<table> 
 <thead> 
  <tr> 
   <th>选项参数</th> 
   <th align="left">功能</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-F</td> 
   <td align="left">分隔符。使用指定的分隔符对文件进行切割 。默认的分隔符是空格。</td> 
  </tr> 
  <tr> 
   <td>-v</td> 
   <td align="left">临时变量。赋值一个用户定义变量</td> 
  </tr> 
 </tbody> 
</table>

**patternN\{actionN\} 说明：**

*  `pattern` ：表示 awk 在数据中查找的内容，就是匹配模式。
    
     *  还可以使用 `BEGIN` 、`END` 。这两个可以单个或一起使用。其中，
     *  `BEGIN` 在所有数据读取行之前执行。
     *  `END` 在所有数据执行之后执行。
 *  `action` ：在找到匹配内容时所执行的一系列命令；

**常用变量：**

*  `$1、$2...$N` ，表示分割后的第1列，第2列 …第N列。
 *  `$0`， 表示所有列 。

**内置变量：**

<table> 
 <thead> 
  <tr> 
   <th>变量</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>FILENAME</td> 
   <td align="left">文件名</td> 
  </tr> 
  <tr> 
   <td>NR</td> 
   <td align="left">行号，第几行</td> 
  </tr> 
  <tr> 
   <td>NF</td> 
   <td align="left">切割后，列的个数</td> 
  </tr> 
 </tbody> 
</table>

## 2、案例实操 ##

（0）数据准备

[java@localhost java_demo]$ cp  /etc/passwd  ./

（1）搜索passwd文件以root关键字开头的所有行，并输出该行的第7列。

[java@localhost java_demo]$ awk -F: '/^root/{print $7}' passwd
    /bin/bash

（2）搜索 passwd 文件以 root 关键字开头的所有行，并输出该行的第1列和第7列，中间以 `，` 分割。

[java@localhost java_demo]$ awk -F: '/^root/{print $1","$7}' passwd
    root,/bin/bash

注意：只有匹配了pattern的行才会执行 action 。

（3）只显示 `/etc/passwd` 的第1列和第7列，以逗号分割，且在所有行的前面添加列名`user，shell` ，在最后一行添加 `dahaige，/bin/zuishuai` 。

[java@localhost java_demo]$ awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END{print "dahaige,/bin/zuishuai"}' passwd
    user, shell
    root,/bin/bash
    bin,/sbin/nologin
    ...
    java,/bin/bash
    dahaige,/bin/zuishuai

**注意：**

`BEGIN` 在所有数据读取行之前执行。  
`END` 在所有数据执行之后执行。

（4）将passwd文件中的用户id 增加数值1 ，并输出

[java@localhost java_demo]$ awk -v i=1 -F: '{print $3+i}' passwd
    1
    2
    3
    4
    ...
    73
    1001

## 3、内置变量的示列 ##

### 3.1、在 passwd 文件的每行前面加上的行号 ###

[java@localhost java_demo]$ awk '{print NR","$0}' passwd
    1,root:x:0:0:root:/root:/bin/bash
    2,bin:x:1:1:bin:/bin:/sbin/nologin
    3,daemon:x:2:2:daemon:/sbin:/sbin/nologin
    4,adm:x:3:4:adm:/var/adm:/sbin/nologin
    ...
    45,tcpdump:x:72:72::/:/sbin/nologin
    46,java:x:1000:1000:java:/home/java:/bin/bash
    [java@localhost java_demo]$

### 3.2、file1.txt 文件操作 ###

file 内容如下：

ls:10:3.5
    
    bb:40:5.4
    ss:30:1.6
    
    bd:20:4.2
    
    xz:50:2.3

（1）统计空行的行号。 命令如下：

[java@localhost java_demo]$ awk '/^$/{print NR}' file1.txt 
    2
    5
    7

（2）在每行的首列，添加行号。命令如下：

[java@localhost java_demo]$ awk '{print NR $0}' file1.txt 
    1cls:10:3.5
    2
    3bb:40:5.4
    4ss:30:1.6
    5
    6bd:20:4.2
    7
    8xz:50:2.3

（2）行号后面增加空格。命令如下：

[java@localhost java_demo]$ awk '{print NR" " $0}' file1.txt 
    1 cls:10:3.5
    2 
    3 bb:40:5.4
    4 ss:30:1.6
    5 
    6 bd:20:4.2
    7 
    8 xz:50:2.3

### 3.3、切割IP ###

参考文章： [Centos7 ，使用grep，cut 、awk 提取IP地址][Centos7 _grep_cut _awk _IP]

### 3.4、查询sed.txt中空行所在的行号 ###

[java@localhost java_demo]$ awk '/^$/{print NR}' sed.txt

### 3.5、求和，求学生成绩的总和。 ###

文件 `chengji.txt` 的内容如下:

张三 40
    李四 50
    王五 60

使用Linux命令提取并输出分数，并在最后输出求和总数。

[java@localhost java_demo]$ awk -v num=0  -F" " '{num+=$2} END {print num}' chenji.txt 
    150

更复杂一些的， 在列的首行添加标题为 “姓名、分数”，在结尾处增加 "总分 "和 计算的值，命令如下：

[java@localhost java_demo]$ awk -v num=0 -F" " 'BEGIN{print "姓名 分数"} {print $0} {num+=$2 } END {print "总和 " num}' chenji.txt 
    姓名 分数
    张三 40
    李四 50
    王五 60
    总分 150

[Centos7 _grep_cut _awk _IP]: https://xiaojin21cen.blog.csdn.net/article/details/117731429