Linux日常之命令awk

超、凢脫俗 2022-01-21 09:17 230阅读 0赞

转载自

[https://www.cnblogs.com/jiqianqian/p/7944013.html][https_www.cnblogs.com_jiqianqian_p_7944013.html]

**一. 命令awk简介**

1. awk是一种编程语言，用于对文本和数据进行处理的

2. 具有强大的**文本格式化**能力

3. 利用命令awk，可以将一些文本整理成为我们想要的样子

4. 命令awk是**逐行**进行处理的

**二. grep、sed、awk的简单比较**

1. 命令grep，更适合单纯的查找或匹配文本

2. 命令sed，更适合对匹配到的文本进行编辑

3. 命令awk，更适合文本格式化，对文本进行较复杂的格式处理

**三. 命令awk基本语法**

awk \[options\] 'pattern\{action\}' file

1. 在没有options和pattern的情况下，使用命令awk

![1127068-20171201142424023-335524407.png][]

2. pattern包括两种特殊模式，分别是BEGIN和END

（1）BEGIN模式，是指命令在处理文本**之前**执行

![1127068-20171201143119195-1921843516.png][]

（2）END模式，是指命令在处理文本**之后**执行

![1127068-20171201143353070-107217596.png][]

（3）BEGIN模式和END模式同时存在时，其中，**BEGIN与END之间的\{\}相当于一个循环体，对文件中的每一行进行处理**

![1127068-20171201144022602-1008912402.png][]

3. 常用的参数

（1）-F，用于指定输入分隔符

![1127068-20171201151805945-945547175.png][]

（2）-v，用于设置变量的值

![1127068-20171201154102852-1003012209.png][]

![1127068-20171201154109070-992758557.png][]

从文件中输入变量

![1127068-20171201154122602-627799321.png][]

**四. 变量**

awk中的变量分为内置变量和自定义变量两种

1. 内置变量

<table> 
 <tbody> 
  <tr> 
   <td>FS</td> 
   <td>输入字段分隔符，默认为空白字符</td> 
  </tr> 
  <tr> 
   <td>OFS</td> 
   <td>输出字段分隔符，默认为空白字符</td> 
  </tr> 
  <tr> 
   <td>RS</td> 
   <td>输入记录分隔符（输入换行符），指定输入时的换行符</td> 
  </tr> 
  <tr> 
   <td>ORS</td> 
   <td>输出记录分隔符（输出换行符），指定输出时的换行符</td> 
  </tr> 
  <tr> 
   <td>NF</td> 
   <td>当前行的字段数（当前行被分隔符分割成了几段）</td> 
  </tr> 
  <tr> 
   <td>NR</td> 
   <td>当前行的行号</td> 
  </tr> 
  <tr> 
   <td>FNR</td> 
   <td>不同文件分别计数</td> 
  </tr> 
  <tr> 
   <td>FILENAME</td> 
   <td>当前文件名</td> 
  </tr> 
  <tr> 
   <td>ARGV</td> 
   <td>数组，保存的是命令行所给定的各参数</td> 
  </tr> 
  <tr> 
   <td>ARGC</td> 
   <td>ARGC数组的个数</td> 
  </tr> 
 </tbody> 
</table>

（1）FS：以“：”为字段输入分隔符，输出第1列和第2列

1）使用-F选项指定输入分隔符

![1127068-20171201164321117-616757742.png][]

2）使用内置变量FS指定输入分隔符，**需要注意的是，使用变量时，要使用-v选项来指定对应的变量**

![1127068-20171201164733070-388364528.png][]

（2）OFS：以“\#”为字段输出分隔符，输出第1列和第2列

![1127068-20171201165141086-1361260962.png][]

（3）RS：以“：”为行输入分隔符，输出对应的行号和当前行内容。

需要注意的是，两个红框中的内容，由于Jack和DEF、Alice和GHI之间没有“：”，所以在awk中被认作为同一行

![1127068-20171201165803148-1663451292.png][]

（4）ORS：以“---”为行输出分隔符

![1127068-20171201170340289-1836281852.png][]

（5）NF：当前行的字段数

其中，$NF表示的是最后一个字段的内容，$(NF-1)表示的是倒数第二个字段的内容

（6）NR：当前行号

（7）FNR：不同文件分别计数

![1127068-20171201171324133-404163382.png][]

（8）FILENAME：显示当前行的文件名

![1127068-20171201171457414-189507039.png][]

（9）ARGV：数组，保存的是命令行所给定的各参数

![1127068-20171201171743695-494217113.png][]

（10）ARGC：保存的是ARGV数组的个数

![1127068-20171201171905664-27494933.png][]

2. 自定义变量

（1）使用-v来自定义变量（在上第三节已介绍）

（2）在awk中直接定义

![1127068-20171201172239383-324006650.png][]

**五. 格式化中，awk使用printf时需要注意的问题**

1. 使用printf输出的文本不会换行，如果需要换行，可以在对应的“格式替换符”后加入“\\n”进行转义

2. 使用printf输出时，“指定的格式”与“被格式化的文本”之间，要用“，”隔开

3. 使用printf输出时，“格式”中的“格式替换符”必须与“被格式化的文本”一一对应（个数要相同）

**六. awk中的pattern模式**

当awk进行逐行处理时，会把pattern作为条件，判断当前行是否满足条件，若跟pattern匹配，则进行后面的处理，否则，跳过当前行。

![1127068-20171201180846930-13464748.png][]

1. 正则表达式

awk下的正则表达式与grep下的区别：

1）awk下：   awk '/正则表达式/\{print\}' /etc/passwd

2）grep下：  grep "正则表达式" /etc/passwd

![1127068-20171201181742273-6788263.png][]

需要注意的是

1）在awk的正则表达式中，若出现"/"，则需要进行转义，在其前面加"\\"

2）当使用\{x,y\}类型次数匹配的正则表达式时，需要使用--posix选项或--re-interval选项

2. 行范围匹配

awk '/正则表达式1/,/正则表达式2/\{action\}' file

表示的是，从被正则表达式1匹配到的行开始，到被正则表达式2匹配到的行结束，之间所有的行都会执行对应的动作。

**七. 关系运算符**

<table> 
 <tbody> 
  <tr> 
   <td>关系运算符</td> 
   <td>含义</td> 
   <td>用法实例</td> 
  </tr> 
  <tr> 
   <td>&lt;</td> 
   <td>小于</td> 
   <td>x&lt;y</td> 
  </tr> 
  <tr> 
   <td>&lt;=</td> 
   <td>小于等于</td> 
   <td>x&lt;=y</td> 
  </tr> 
  <tr> 
   <td>&gt;</td> 
   <td>大于</td> 
   <td>x&gt;y</td> 
  </tr> 
  <tr> 
   <td>&gt;=</td> 
   <td>大于等于</td> 
   <td>x&gt;=y</td> 
  </tr> 
  <tr> 
   <td>==</td> 
   <td>等于</td> 
   <td>x==y</td> 
  </tr> 
  <tr> 
   <td>!=</td> 
   <td>不等于</td> 
   <td>x!=y</td> 
  </tr> 
  <tr> 
   <td>~</td> 
   <td>匹配</td> 
   <td>x~/正则表达式/</td> 
  </tr> 
  <tr> 
   <td>!~</td> 
   <td>不匹配</td> 
   <td>x!~/正则表达式/</td> 
  </tr> 
 </tbody> 
</table>

**八. 条件判断**

实例

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> <p>6</p> <p>7</p> <p>8</p> <p>9</p> <p>10</p> <p>11</p> <p>12</p> </td> 
   <td> <p><code>awk</code> <code>'BEGIN{ </code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>test</code><code>=100; </code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code><code>(</code><code>test</code><code>&gt;90){ </code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print </code><code>"very good"</code><code>;</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>} </code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>else</code> <code>if</code><code>(</code><code>test</code><code>&gt;60){ </code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print </code><code>"good"</code><code>; </code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>} </code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>else</code><code>{ </code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print </code><code>"no pass"</code><code>; </code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>} </code></p> <p><code>}'</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**九. 循环语句**

**　　**1. while循环语句

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>while</code><code>(表达式)</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>{语句}</code></p> </td> 
  </tr> 
 </tbody> 
</table>

实例

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> <p>6</p> <p>7</p> <p>8</p> <p>9</p> </td> 
   <td> <p><code>awk</code> <code>'BEGIN{ </code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>test</code><code>=100;</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>total=0;</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>while</code><code>(i&lt;=</code><code>test</code><code>){ </code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>total+=i;</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>i++;&nbsp; </code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print total;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </code></p> <p><code>}'</code></p> </td> 
  </tr> 
 </tbody> 
</table>

2. for循环语句

1）第一种

2）第二种

3. do循环语句

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p><code>do</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>{语句}</code></p> <p><code>while</code><code>(条件)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

[https_www.cnblogs.com_jiqianqian_p_7944013.html]: https://www.cnblogs.com/jiqianqian/p/7944013.html
[1127068-20171201142424023-335524407.png]: /images/20220121/37d0c9bed07842c08c4ed7da4e200624.png
[1127068-20171201143119195-1921843516.png]: /images/20220121/0d589440c7084a5ca6debc5007a16761.png
[1127068-20171201143353070-107217596.png]: /images/20220121/80661292896c415a8088b94e26c9872e.png
[1127068-20171201144022602-1008912402.png]: /images/20220121/9ee8bab1fb9e4d3b8505c6a7b9eca12c.png
[1127068-20171201151805945-945547175.png]: /images/20220121/3aa83fbcf9f04ff190e2be33130bcf45.png
[1127068-20171201154102852-1003012209.png]: /images/20220121/b6c1afa30437462a82571b3af0d9948c.png
[1127068-20171201154109070-992758557.png]: /images/20220121/a0bf5c149cbc4bb28289fecdffe244bb.png
[1127068-20171201154122602-627799321.png]: /images/20220121/26567354bca34d5fa85a343a1106bebc.png
[1127068-20171201164321117-616757742.png]: /images/20220121/ef5abb429261482f8059aec08ccfdb55.png
[1127068-20171201164733070-388364528.png]: /images/20220121/2533273948c24ae3b9e29bdb2a016f76.png
[1127068-20171201165141086-1361260962.png]: /images/20220121/a306ef90548e44bda9bce558cce88bbb.png
[1127068-20171201165803148-1663451292.png]: /images/20220121/2bac967b23fc4c10b56dbb5939fd7861.png
[1127068-20171201170340289-1836281852.png]: /images/20220121/1d69eeb82d1c4538afc4d58e02e82aaa.png
[1127068-20171201171324133-404163382.png]: /images/20220121/f155109c78974c7b863f4c04f7f2e5dc.png
[1127068-20171201171457414-189507039.png]: /images/20220121/5b3d6c7dd8d1480e848b6767833c9975.png
[1127068-20171201171743695-494217113.png]: /images/20220121/5fa0fce632ca477b84d4c895eb4d57de.png
[1127068-20171201171905664-27494933.png]: /images/20220121/6a662f7ee39d4dd181fd019e978e8aec.png
[1127068-20171201172239383-324006650.png]: /images/20220121/f943cd614f7b4a40bea4cf3a53aa9693.png
[1127068-20171201180846930-13464748.png]: /images/20220121/17713fbdba8d4edcbf16cc61393b71aa.png
[1127068-20171201181742273-6788263.png]: /images/20220121/120b85eaadce44fa85a7688efbf68087.png