awk用法总结

野性酷女 2022-08-07 01:33 224阅读 0赞

参考： http://zhangwei20086.blog.163.com/blog/static/23055718201222485758448/

1． awk 非常适合于结构化的文本文件（行、列数据）复杂处理。相对于 sed 而言，它可进  
行复杂的编程处理，并且可以产生复杂的报表输出。   
2． awk 通常有三个版本，旧 awk、nawk（新） 、gawk。Solaris 下建议用 nawk，因为旧 awk  
有很多功能不支持，例如数学运算幂 ^ ，函数getline，system等。   
3． 基本语法：awk ‘pattern\{action\}’ filename 其中 action 内容可扩充，也可以有多个 action。   
执行顺序：awk 一行行读入输入文件，顺序执行‘’内内容，按模式匹配来采取动作。   
其他调用：awk 可用内部变量和函数，条件与循环语句，也可执行数学运算和字符串操  
作。 此外， 可以使用 BEGIN和 END来执行处理前预操作和处理后后继操作。   
A. 常用内部变量：NR（当前行数）NF（字段总数）$0（当前整行）$1（第一个记录）   
FS（字段分隔符）OFS（输出字段分隔符）ORS（输出记录分隔符）   
B．模式 pattern可以是/ /包含的匹配形式，也是条件语句如$3<10   
C．BEGIN（处理文件前的 action，常包含 FS、OFS 等） 、END（处理文件后的 action）   
D．条件与循环：if else（next，exit） ，for do while （continue，break）   
E．数学运算符 + - \* / % ^；数学函数 sin int；字符串函数 length index gsub substr等   
F．数组与关联数组：a\[1\]; a\[$1\]; a\[$0\]; a\[b\[i\]\]   
F．输出重定向和管道：> >> | ；awk 内部命令：getline、system等   
4．awk 的三种调用方式： X awk ‘pattern\{action\}’ filename1，filename2   
Y awk –f myscript.awk filename1，filename2   
Z \#!/bin/nawk –f … … 执行：myscript.awk filename   
特别注意事项：   
  
\----------------------------------------------------------------------------------------------------------------------   
A．从 window拷贝语法句到 Unix 中，行结尾可能有不识别的字符会导致语法错误   
B．写 script 文件时，BEGIN或 END后必须紧跟\{   
C．所有 action语句必须放在\{ \}中，否则提示语法错误。例如不可直接写 print   
D．单独的赋值或 pattern条件句没有\{ \}则默认 print $0；例如\{ \}外面的 i＝1   
E．if条件块必须放在 action 中，也就是必须要有\{ \}来包含   
F．条件的判断“相等”须用= =，而不是=（赋值） ；例如，if($1= =100)   
G．输出多列须用“， ” （逗号）隔开；for 循环中间隔符为“； ”而不是“， ”   
实例演练： （filename 为以下文件，注意：第二列用“-”隔开而非空格，以避免与 FS冲突）   
ID Name Age City Country Tel Salary Children   
1001 Steven 25 NY U.S.A +01-02-323222 $4900 2   
1002 Huang-Yu 30 BJ CHN +86-10-36789966 ￥6000 1   
1003 Fish-Mad 27 SG SG +65-67456632 $3000 3   
1004 Vale-Kiss 46 LD ENG +44-20-87634321 $6280 3   
\----------------------------------------------------------------------------------------------------------------------  
以下分基础实例：1．无 pattern 的 action 实例 2．有 pattern的 action 实例   
3．BEGIN,END,FS,OFS 实例 4．if else; for while 循环实例   
5．数学运算与字符串操作实例   
高级实例：6．数组与关联数组运用实例 7．多文件运用 NR FNR实例   
8．输出重定向和 getline实例   
1   
  
基 础 篇   
  
1．无 pattern 的 action 实例   
a．awk ‘\{print NR $1 $NF\}’ data.txt 打印行号，第一列和最后一列，中间无分隔符   
b．awk ‘\{print $1,$NF\}’ data.txt 打印第一列和最后一列，并且中间有分隔符   
c．awk ‘\{print $0,$NF+10\}’ data.txt 打印整行，并打印 最后一行加上 10 的结果   
2．有 pattern 的 action 实例   
a．awk ‘/\[0-9\]/’ data.txt 打印记录中任意列包含数字 0－9 的行   
b．awk ‘/01/||/02/’ data.txt 打印包含 01 或者 02 的行   
c．awk ‘/01/,/02/’ data.txt 打印既包含01又包含02的行；等同awk ‘/01/&&/02’   
d．awk ‘$1= =1001\{print $2\}’ data.txt 打印符合第一列等于 1001 的第二列   
e．awk ‘$2= =”Steven”\{print\}’data.txt 打印符合第二列等于 Steven 的那些行   
f．awk ‘$3>20&&$3<30’ data.txt 打印第三列在 20 到30 之间的那些行   
g．nawk ‘$3\*$NF<100’ data.txt 打印第三列和最后一列乘积小于 100 的那些行   
h．awk ‘$6~/01/\{print $2\}’ data.txt 打印符合仅仅第六列里包含 01那些行的第二列   
i．awk ‘NR>3\{print $1,$2\}’ data.txt 从第四行才开始打印第一列和第二列   
3．有 BEGIN、END 并包含 FS、OFS 的实例   
a．awk –F”+” ‘\{print $1\}’ data.txt 按+为分隔符来分隔列，并打印第一列   
b．nawk –F’\[+/t$\]’ ‘\{print $6,$7,$8,$9\}’data.txt 按+或/t 或$都可作分隔符，并打印指定列   
c．nawk ‘BEGIN\{FS=”\[/t+$\]”\}\{print $6,$8,$9\}’data.txt   
按+,/t,$（顺序无所谓）为分割符,并打印指定列   
d．nawk ‘BEGIN\{FS=”\[/t+$\]”;OFS=”%”\}\{print $6,$7,$8,$9\}’ data.txt   
按+,/t,$为分割符， 用%作输出分隔符打印指定列   
e．nawk –F‘\[ \[ \] \]’ ‘\{print $1\}’ data.txt 按 \[ 或 \] 为分隔符，并打印第一列   
f．nawk –F‘\[ \]\[ \]’ ‘\{print $1\}’ data.txt 同上，按\[ 或 \] 为分隔符，并打印第一列   
关于-F 和 BEGIN 内的 FS 定义特别注意如下：   
  
A．-F 参数后紧跟单个分隔符，则用双引号“” ，例如 –F”+”   
B．-F 参数后紧跟多个分隔符，则用单引号‘ ’并用\[ \]，中间顺序无所谓，例如-F’\[+$\]’  
C．BEGIN 中的 FS无论是单个还是多个分隔，均用双引号“” ，多个则需加\[ \]   
例如：nawk ‘BEGIN\{FS=”\[/t+$\]”\}\{print $6,$8,$9\}’data.txt   
D．BEGIN 中若同时有 FS和 OFS，则建议中间用分号“； ”来分隔开，否则提示出错  
例如：nawk ‘BEGIN\{FS=”\[/t+$\]”;OFS=”%”\}\{print $6,$7,$8,$9\}’ data.txt   
E．半方括号\[ \]也可以作为分隔符，顺序无所谓。例如：-F‘\[\[\]\]’ 或 –F‘\[\]\[\]’   
F．在用多个分隔符的时候，为避免语法错误或想得到正确的结果，最好用 nawk   
4．条件 if else 和 for while 循环实例   
a．nawk ‘\{print($3>25 ? $2“ Old” : $2“ Young”)\}’ data.txt   
若第三列大于 25 就打印某某 Old；否则打印某某 Young   
b．awk ‘\{if($1>1002)print $2; else print $3\}’ data.txt   
若第二列大于 1002 就打印第二列，否则打印第三列   
c．awk ‘NR>1\{if($3<30)print$2;else if($3<40) print$2”m”;else exit;\}END\{print 10\}’data.txt   
从第二行开始判断第三列的值，如果小于 30 就打印$2，如果大于 30 而又小于  
240，打印$2并后跟 m，若是都不符合就退出处理行，但是 END后的操作仍执行   
d．awk ‘BEGIN\{ORS=””\}\{for(i=1;i<NF-2;i++) print $i”/t”\}\{print “/n”\}’ data.txt   
打印出每行的前面几列，最后几列不打印。特别注意：默认情况下，print 每执  
行一次时，另起一行打印。因此为避免每打印一列就重新一行，设置 ORS为空，  
但是在每打印完符合条件的所有列后， 需要手工换行 （循环外的 print 起此作用） 。   
e．awk ‘BEGIN\{ORS=””\}\{i=1; while(i<NF-2)\{print $i”/t”; i++\}\}\{print “/n”\}’ data.txt   
功能同上，打印出每行的前面几列，最后几列不打印。   
5．数学运算和字符串操作实例   
a．nawk ‘\{print 2^5+sin(2.1)+int(0.9)\}’ data.txt 在每一行都打印运算值（32.8632）   
b．awk ‘END\{print length(“How are you?”)\}’ data.txt 打印出字符串的长度（12）   
c．awk ‘END\{print index(“How are you?”,”you”)\}’ data.txt 返回 you在字符串中的开始位置（9）   
d．nawk ‘\{gsub(/ /$/,””);print $0\}’ data.txt 把每行的$符号用空替掉，并打印行   
e．awk ‘END\{print substr(“How are you?”,9,3)\}’ data.txt   
从字符串的第九个位置开始截出后面 3 个长度的子字符串   
f．nawk ‘\{print toupper($2), tolower($2)\}’ data.txt   
分别打印第二列大写和小写   
g．nawk ‘END\{print match(“How are you you?”,/you/),RSTART,RLENGTH\}’ data.txt   
打印 you 在字符串中第一个匹配的位置以及长度（9，9，3）   
h．nawk ‘END\{str=”How are you doing?”;sub(/o/,”0”,str);print str\}’ data.txt   
将字符串变量指定字符中第一个符合含有 o 的用 0 替换调   
特别注意：sub 函数的第三个参数不可直接用字符串，而必须用  
字符串变量。   
i．awk ‘END\{print split(“Jan,Feb,Mar,Apr,May”,mymonths,”,”),mymonths\[2\]\}’ data.txt   
将字符串用第三个参数分隔符号进行分隔，把分隔的各个元素放  
在第二个参数的数组中，函数返回分隔得到的元素数目。结果：  
（5，Feb）   
  
  
高 级 篇   
  
6．数组与关联数组（a\[1\]，a\[$1\] a\[$0\]，a\[b\[i\]\]）   
a．awk ‘\{for(i=1;i<NF;i++) \{a\[i\]=$i; print a\[i\]\}\}’ data.txt 把文件每一列按行打印   
b．awk ‘\{a\[$1\]=$2\}END\{for(x in a) print a\[x\]\}’ data.txt   
数组 a 关联到第一列，并将第二列值赋给 a，最后打印 a 中的所有内容。  
注意：但不是顺序打印。for中的 x是随意变量，awk 自动确定。   
c．awk ‘\{b\[i\]=$1;a\[$1\]=$2;i++\}END\{for(j=1;j<i;j++) print b\[j\],a\[b\[j\]\]\}’ data.txt   
实现从第二行开始打印每一行的第一列和第二列的功能。   
注意：i 从0 开始取值，而 j 从1 开始。a 为关联数组，b 为顺序数组。   
7．多输入文件和 NR、FNR 的实例   
a． awk ‘BEGIN\{OFS=FS=”:”\} NR==FNR\{a\[$1\]=$2\} NR>FNR\{$2=a\[$1\];print\}’   
/etc/shadow /etc/passwd   
  
该语句中第一个模式匹配到第一个输入文件 shadow， 第二个模式匹配到第二个输入  
文件 passwd，并使用关联数组，实现不同文件关联列的其他列值相互替换。   
3   
A．awk 对多输入文件的执行顺序是，先将代码作用于第一个文件（一行行读入） ，然  
后该重复的代码又作用于第二个文件，再作用于第三个文件。   
B．awk 对多输入文件的执行顺序产生了行序号的问题。当第一个文件执行完，下次读  
入第二个文件，那么第二个文件的第一行怎么算呢？如果又计为 1 的话，那不就两  
个 1 了么？（因为第一个文件也有第一行） 。这就是 NR 和 FNR 的问题。   
NR ：全局行数（第二个文件的第一行接着第一个文件尾行数顺序计数）   
FNR：当前文件自身的行数（不考虑前几个输入文件的自身行数及总数）   
例如：data1.txt 中有40 行，data2.txt 中有 50 行，那么 awk ‘\{\}’ data1.txt data2.txt   
NR 的值依次为：1，2……40，41，42……90   
FNR 的值依次为：1，2……40， 1， 2……50   
8．重定向输出和特别函数 getline 实例   
a．awk ‘\{print FILENAME,$0\}’ data1.txt data2.txt >data\_all.txt   
把第一个文件和第二个文件合并到 data\_all.txt 中,新文件第一列为原始文件名,后  
面列为原始文件内容。   
b．awk ‘$1!=fd\{close(fd);fd=$1\} \{print substr($0,index($0,“ ”)+1)>$1\}’ data\_all.txt   
把合并后的新文件 data.txt 重新拆开成原来的两个子文件，依照新文件的第一列  
来产生新文件名。生成一个完整子文件后，关闭之；再生成下一个子文件。   
A．getline 从整体上来说，应这么理解它的用法：   
当其左右无重定向符 | 或 < 时，getline 作用于当前文件，读入当前文件的第一行给  
其后跟的变量 var 或$0（无变量） ；应该注意到，由于 awk 在处理 getline  
之前已经读入了一行，所以 getline得到的返回结果是隔行的。   
当其左右有重定向符 | 或 < 时，getline 则作用于定向输入文件，由于该文件是刚打  
开，并没有被 awk 读入一行，只是 getline 读入，那么 getline返回的是该文  
件的第一行，而不是隔行。   
B．getline 用法大致可分为三大类（每大类又分两小类） ，即总共有 6 种用法。代码如下：  
nawk ‘BEGIN\{“cat data.txt”|getline d; print d\}’ data2.txt   
nawk ‘BEGIN\{“cat data.txt”|getline; print $0\}’ data2.txt   
nawk ‘BEGIN\{getline d < “data.txt”; print d\}’ data2.txt   
nawk ‘BEGIN\{getline < “data.txt”; print $0\}’ data2.txt   
以上四行代码均实现“只打印 data.txt文件的第一行” （若打印全部行，用循环）   
eg. nawk ‘BEGIN\{FS=”:”;while(getline<”/etc/passwd”>0)\{print $1\}\}’ data.txt   
nawk ‘\{getline d; print d”\#”$3\}’ data.txt   
awk首先读入第一行，接着处理getline函数，然后把下一行指定给变量d，再先打印  
d，由于d后面有换行符，所以后面紧跟的＃会覆盖d，后面的$3同样也会覆盖d。   
nawk ‘\{getline; print $0”\#”$3\}’ data.txt   
awk 首先读入第一行接着处理 getline 函数，然后把下一行指定给$0，现在的$0 已经  
是下一行内容，后面的\#和$3（从$0中取）会覆盖$0的内容。   
c．nawk ‘BEGIN\{system(“echo /”input your name:/” ”);getline var; print “/nYour name is”,d,”/n”\}’   
系统提示输入名字，然后将输入的名字打印出来。特别注意：该 awk 语句后没  
有输入文件名，而是利用键盘输入作为文件名。   
4   
  
经 典 实 例   
  
1．问题描述   
有如下银行帐单部分文本，   
200000000000007|shi yan city qi pei bu   
202111320000018|hospital   
200000000000007|shiyan city renmen road qi bei bu   
201602520002941|middle school   
200000000000007|mingfeng road qi pei   
201602120000113|zhuanghuang factory   
201602320000115|liangyou factory   
要求：将第一列中重复的合并为一行，其第二列填入最长地址的那列   
得到的结果应为：   
200000000000007|shiyan city renmen road qi bei bu   
202111320000018|hospital   
201602520002941|middle school   
201602120000113|zhuanghuang factory   
201602320000115|liangyou factory   
代码： （假设下面代码在文件 myawk..sh 中）   
  
\#!/usr/bin/nawk -f   
  
BEGIN\{FS=OFS="|"; i=1;\}   
\{ if(a\[$1\]==0)\{b\[i\]=$1;a\[$1\]=$2;i++\}   
if(length(a\[$1\])<length($2))\{a\[$1\]=$2\}   
\}   
END\{for(j=1;j<i;j++) print b\[j\],a\[b\[j\]\]   
\}   
执行：myawk.sh data.txt   
  
比较代码： （实现不全）   
  
awk 'BEGIN\{FS=OFS="|"\} !(length(a\[$1\])>length($2))\{a\[$1\]=$2\}   
END\{for(i in a)print i,a\[i\]\}' data.txt   
  
解释：此例中，用了两个数组，a 用来与$1 关联，b 用来顺序记录，使得在最后打印时  
是完全按照$1 顺序打印。条件句首先判断数组元素是否是第一次写入，若非，则  
比较当前$2值和以前储存的值长度。   
功能不全代码不能顺序打印。当$1 有重复，而$2 长度第一次、第二次、第三次是  
以递减的方式时，该代码应用得较好。但是，当$2 各次得到的长度不确定时，代  
码不能实现上述功能。例如：本例中第 5 行的第二列若比第 3 行的第二列长度长  
时，功能不全代码就不能实现要求。   
5   
2．问题描述：   
有两个文件如下：   
  
data1 文件内容：   
1 0.5 100   
10 15 36.5   
data2 文件内容：   
50 10 19   
3.2 1 5   
要求：得到一个新的文件，内容是 data1 和 data2 对应的列数字相加的和，新文件内容：   
51 10.5 119   
13.2 16 41.5   
代码： （假设下面代码在文件 myawk..sh 中）   
  
\#!/usr/bin/nawk -f   
  
\{ for(i=1;i<=NF;i++) a\[i\]=$i;   
getline < “data2.txt”   
for(j=1;j<NF;j++) printf $j+a\[j\] “/t”   
printf $NF+a\[NF\]“/n”   
\}   
执行：myawk.sh data1.txt   
解释： 上述代码用到了getline同时读入第二个文件的行内容并存入到$0中， 最后用printf  
来实现相加后的打印。注意后面同时紧跟打印了/t 和/n，以用来列之间的分隔和  
行之间的分隔。此外，也可以用 print来实现，但是 print 每执行完一次都要换行，  
（当然可以用 OFS 来进一步处理） 。   
实际上也可以用另外一种办法来实现，就是用 NR、FNR 比较，然后分别将两个  
文件赋值给不同的数组，然后相加。当然代码就没有上述代码简练。   
  
3．问题描述   
有两个如下文件：   
  
data2.txt 文件内容如下：   
01 1111 AAA WW001 $$$$ 1000.00   
02 2222 BBB GG001 %%%% 2000.00   
03 3333 CCC JJ001 \*\*\*\* 3000.00   
04 4444 DDD FF002 &&&& 4000.00   
05 5555 EEE RR002 @@@@ 5000.00   
06 666 FFF UU003 JJJJ 6000.00   
07 777 III II005 PPPP 7000.00   
08 8888 TTT TT008 TTTT 8000.00   
data1.txt 文件内容如下：   
AAA 001 1000.00   
BBB 001 2000.00   
DDD 002 4000.00   
EEE 002 5000.00   
FFF 003 6000.00   
data1 的第 1列、最后一列和 data2 的第 3 列、最后一列是相同的，   
data1 的第 2列和 data2 的第 4 列的后3 位是相同的。   
要求：data2中第三列、第四列后 3位、第六列完全和 data1相同的取出来得到新文件如  
下内容：   
6   
01 1111 AAA WW001 $$$$ 1000.00   
02 2222 BBB GG001 %%%% 2000.00   
04 4444 DDD FF002 &&&& 4000.00   
05 5555 EEE RR002 @@@@ 5000.00   
06 666 FFF UU003 JJJJ 6000.00   
代码：   
  
nawk 'NR<=FNR \{a\[$1\]=$1"x"$2"x"$3\}   
NR>FNR \{ b=substr($4,3);   
c=$3"x"b"x"$6;   
if(c==a\[$3\]) print\}' data1.txt data2.txt   
执行：直接执行上述代码   
解释：本例巧妙地利用了组合字符串（用 x 来组合） ，然后用来比较。   
当 NR<=FNR 时，处理第一个文件，当 NR>FNR 时，处理第二个文件。