awk

àì夳堔傛蜴生んèń 2022-08-06 15:29 171阅读 0赞

目录  
简介 1  
命令格式&说明 2  
调用方法 3  
域切分&操作 3  
正则匹配 4  
内置变量&操作 5  
内置函数&操作 6  
格式化输出 7  
数组 8  
条件判断&流程控制 9  
与shell交互 10  
awk与变量 10  
错误排查 11  
其他 11

## 简介 ##

<table style="color:rgb(0,0,0); font-family:Arial; font-size:14px; line-height:26px; text-align:left"> 
 <tbody> 
 <tr> 
 <td> AWK:&nbsp;三位创造者Aho、Weinberger和Kernighan统称 </td> 
 </tr> 
 <tr> 
 <td> 官方定义：一个优秀的样式扫描与处理工具 定位：AWK&nbsp;是一种用于处理文本的编程语言工具，主要用于格式化报文或从一个大的文本文件中抽取数据。提取原来文本中行的某些域进行计算组合显示，出结果 &nbsp; 【扫描文件中的每一行，查找与命令行中所给定内容相匹配的模式。如果发现匹配内容，则进行下一个编程步骤。如果找不到匹配内容，则继续处理下一行,&nbsp;直到文件末尾】 &nbsp; [Shell过滤工具中最难掌握的，语法复杂，错误提示不明确] &nbsp; 优点: 1.处理文件中的记录（与数据库相比） 2.简单，解释执行，不必编译（与C相比） 3.容易获得，unix自带（whereis awk） </td> 
 </tr> 
 <tr> 
 <td> 模式和动作 模式部分决定了动作语句何时触发及触发的事件【处理语句】 模式部分可省略，则动作对每一行执行；模式部分可以是任何条件语句、复合语句、正则表达式 </td> 
 </tr> 
 </tbody> 
</table>

**命令格式及说明**

**调用方法**

## 域切分及操作 ##

<table style="color:rgb(0,0,0); font-family:Arial; font-size:14px; line-height:26px; text-align:left"> 
 <tbody> 
 <tr> 
 <td> 域的切分： </td> 
 </tr> 
 <tr> 
 <td> A#B#C#D&nbsp;&nbsp; 分隔符为#,则&nbsp;$1:A&nbsp;&nbsp;$2:B&nbsp;&nbsp;……注意，所有域为&nbsp;$0 【print隶属于action，所以一定要放在{}中】 &nbsp; awk中，缺省的情况下总是将文本文件中的一行视为一个记录，而将一行中的某一部分作为记录中的一个字段。用$1,$2,$3...这样的方式来顺序地表示行（记录）中的不同字段，$0表示整个行（记录） </td> 
 </tr> 
 <tr> 
 <td> 示例: </td> 
 </tr> 
 <tr> 
 <td> 1.&nbsp;&nbsp;打印所有行 awk ‘{print $0}’ data.txt 2.&nbsp;&nbsp;打印所有第二个字段 awk ‘{print $2}’ data.txt 3.&nbsp;&nbsp;打印第一列和最后一列，并且中间有分隔符 awk ‘{print $1,$NF}’ data.txt 4.&nbsp;&nbsp;打印行号，第一列和最后一列，中间无分隔符 awk ‘{print NR $1 $NF}’ data.txt 5.&nbsp;&nbsp;打印包含报头 awk ‘BEGIN{print “NAME AGE”}{print $1,$7}’ data.txt 6.&nbsp;&nbsp;打印包含尾部 awk ‘BEGIN{print “NAME AGE”}{print $1,$7} END{print “END_OF_REPORT”}’ data.txt 7.&nbsp;&nbsp;增加一个域【原来只有11个域】 awk ‘{$12=”AAA”;print $0}’ data 则显示结果中自动多了一个域 8.&nbsp;&nbsp;修改文本域 awk '{if($1=="M.Tansley") $1="feidd";print $0}' awk.txt 9.&nbsp;&nbsp;只显示修改的记录 awk&nbsp;‘{if($1==“M.Tansley”) {$1=“feidd”;print $0}}’&nbsp;awk.txt （区分和修改文本域的区别） 10.awk&nbsp;‘{(tot+=$6)};END {print tot}’&nbsp;awk.txt（只打印tot值） awk&nbsp;‘(tot+=$6);END {print $0“\n”tot}’&nbsp;awk.txt(打印所有域) 11.awk ‘{print “hello”,”there”,”Jim”}’ 打印&nbsp;hello there Jim </td> 
 </tr> 
 <tr> 
 <td> 设置域变量&amp;域值比较 </td> 
 </tr> 
 <tr> 
 <td> 1.&nbsp;&nbsp;设置输入域到域变量名 awk ‘{name=$1;belts=$4;if(belts ~/Yellow/) print name}’ data.txt 注：设置了 变量直接输出就是了，不需要使用$进行获取，否则拿不到东西，懂？ 2.&nbsp;&nbsp;域值比较 awk ‘{if($6&lt;27) print $0}’ data.txt 3.&nbsp;&nbsp;设置对所有记录有效的全局域变量【全局变量放在BEGIN中】 awk ‘BEGIN{LINE=”27”}{if($6&lt;LINE) print $0}’ data.txt </td> 
 </tr> 
 <tr> 
 <td> 修改域值【对原文件无影响】 </td> 
 </tr> 
 <tr> 
 <td> 1.&nbsp;&nbsp;修改域值 awk ‘{if($1==”MT”) $6=$6-1;print $1,$6,$7}’ data.txt 【if($1==”MT”) $6=$6-1;符合才执行，其他行都执行print $1,$6,$7】 awk '{if($1=="J.Lulu") $7=$7*2;print $1,$7}' awk.txt 2.&nbsp;&nbsp;赋新值 awk ‘{if($1==”MT”) $1=”AB”;print $1}’ data.txt 3.&nbsp;&nbsp;打印每一列并进行了统计 awk ‘(tot+=$6);END{print tot}’ data.txt 4.&nbsp;&nbsp;只进行统计 awk ‘{(tot+=$6)};END{print tot}’ data.txt &nbsp; 注：修改数值域取值（当在a w k中修改任何域时，重要的一点是要记住实际输入文件是不可修改的，修改的只是保存在缓存里的awk复本） </td> 
 </tr> 
 </tbody> 
</table>

## 正则匹配 ##

**内置变量&操作**

<table style="color:rgb(0,0,0); font-family:Arial; font-size:14px; line-height:26px; text-align:left"> 
 <tbody> 
 <tr> 
 <td colspan="2"> awk内置变量 </td> 
 </tr> 
 <tr> 
 <td> ARGC </td> 
 <td> 命令行参数个数 </td> 
 </tr> 
 <tr> 
 <td> ARGV </td> 
 <td> 命令行参数排列 </td> 
 </tr> 
 <tr> 
 <td> ENVIRON </td> 
 <td> 支持队列中系统环境变量的使用 </td> 
 </tr> 
 <tr> 
 <td> FILENAME </td> 
 <td> 实际操作的文件名 </td> 
 </tr> 
 <tr> 
 <td> FS </td> 
 <td> 设置输入域分隔符，等价于命令行-F选项&nbsp;&nbsp;Field Separator 可在BEGIN中进行设置,然后执行的时候均以设置的符号为分隔符 </td> 
 </tr> 
 <tr> 
 <td> NF </td> 
 <td> 浏览记录 域的个数，在记录被读取时设置【number of fields】一共有多少个域 </td> 
 </tr> 
 <tr> 
 <td> NR </td> 
 <td> 当前记录数（为全部输入文件） 已读取记录数【number of rows】 1 2 3 4 … 全局行数 </td> 
 </tr> 
 <tr> 
 <td> FNR </td> 
 <td> 当前文件行数，&lt;=NR </td> 
 </tr> 
 <tr> 
 <td colspan="2"> NR与FNR区别 awk ‘{print NR,$0}’ filea fileb 结果：行号是连续的，不区分两个文件 awk ‘{print FNR,$0}’ filea fileb 结果：行号区分两个文件 </td> 
 </tr> 
 <tr> 
 <td> RS </td> 
 <td> 输入记录分隔符（默认为换行符） 缺省：新行\n Row Separator记录分隔符 &nbsp; 可以根据具体数据需求，设置读取一条记录的区间 </td> 
 </tr> 
 <tr> 
 <td> OFS </td> 
 <td> 输出域的分隔符，缺省空格 输出结果&nbsp;print $1,$2默认加的是空格，可以在BEGIN中设置，改为其他分隔符 </td> 
 </tr> 
 <tr> 
 <td> ORS </td> 
 <td> 输出记录的分隔符，缺省：新行\n 整体记录的 </td> 
 </tr> 
 <tr> 
 <td colspan="2"> 注：可以在BEGIN中配置FS,OFS,RS,ORS已决定输入输出的分隔符【域和行的】 </td> 
 </tr> 
 <tr> 
 <td colspan="2"> 示例： </td> 
 </tr> 
 <tr> 
 <td colspan="2"> 1.&nbsp;&nbsp;打印文件记录数 awk ‘END{print NR}’ data.txt 2.&nbsp;&nbsp;打印每行记录数，已读记录数，记录内容 awk ‘{print NF,NR,$0} END{print FILENAME}’ data.txt 3.&nbsp;&nbsp;打印当前所在文件夹 echo $PWD | awk –F / ‘{print $NF}’ 4.&nbsp;&nbsp;列转化成行 每四列转换成一行 awk '{if (NR%4==0){print $0} else {printf"%s ",$0}}' auction.xml 5.&nbsp;&nbsp;行转换成列 awk 'BEGIN {RS="^A"} {print $0}' 1 6.&nbsp;&nbsp;指定FS和OFS，多个分隔符 A．BEGIN中的FS无论是单个还是多个分隔，均用双引号“”，多个则需加[ ] 例如：nawk ‘BEGIN{FS=”[\t+$]”}{print $6,$8,$9}’data.txt B．BEGIN中若同时有FS和OFS，则建议中间用分号“；”来分隔开，否则提示出错 例如：nawk ‘BEGIN{FS=”[\t+$]”;OFS=”%”}{print $6,$7,$8,$9}’ data.txt C．半方括号[ ]也可以作为分隔符，顺序无所谓。例如：-F‘[[]]’&nbsp;或&nbsp;–F‘[][]’ </td> 
 </tr> 
 </tbody> 
</table>

**内置函数**

<table style="color:rgb(0,0,0); font-family:Arial; font-size:14px; line-height:26px; text-align:left"> 
 <tbody> 
 <tr> 
 <td colspan="2"> 内置字符串函数 </td> 
 </tr> 
 <tr> 
 <td> gsub(r,s) </td> 
 <td> 在整个$0中用s代替r </td> 
 </tr> 
 <tr> 
 <td> gsub(r,s,t) </td> 
 <td> 在整个t中用s替代r </td> 
 </tr> 
 <tr> 
 <td> index(s,t) </td> 
 <td> 返回s中字符串t的第一位置 </td> 
 </tr> 
 <tr> 
 <td> length(s) </td> 
 <td> 返回s长度 </td> 
 </tr> 
 <tr> 
 <td> match(s,r) </td> 
 <td> 测试s是否包含匹配r的字符串 </td> 
 </tr> 
 <tr> 
 <td> split(s,a,fs) </td> 
 <td> 在fs上将s分成序列a.fs为分隔符 </td> 
 </tr> 
 <tr> 
 <td> sprint(fmt,exp) </td> 
 <td> 返回经fmt格式化后的exp </td> 
 </tr> 
 <tr> 
 <td> sub(r,s) </td> 
 <td> 用$0中最左边最长的子串代替s </td> 
 </tr> 
 <tr> 
 <td> substr(s,p) </td> 
 <td> 返回字符串s中从p开始的后缀部分 </td> 
 </tr> 
 <tr> 
 <td> substr(s,p,n) </td> 
 <td> 返回字符串s中从p开始长度为n的后缀部分 </td> 
 </tr> 
 <tr> 
 <td colspan="2"> 注意：字符串一定要用双引号括起来，否则当做变量解释，找不到即为空，变成了用空值作了原字符串 </td> 
 </tr> 
 <tr> 
 <td colspan="2"> 示例： </td> 
 </tr> 
 <tr> 
 <td colspan="2"> 1.&nbsp;&nbsp;替换一个字符为另一个 awk ‘gsub(/4842/,4899){print $0}’ data.txt &nbsp; 替换字符串必须加双引号，否则当做变量处理，取到值为空，导致空值替换掉现有的东西 &nbsp; $awk –F : ‘gsub(/Mike/,”KEN”){print $0}’ data 只打印出存在替换操作的行 $awk –F : ‘{ gsub(/Mike/,”KEN”);print $0}’ data 打印出所有行，无论是否替换 2.&nbsp;&nbsp;字符串中出现的第一位置 awk ‘{print index($0,”e”)}’ data.txt 3.&nbsp;&nbsp;长度 awk ‘{print length($0)}’ data.txt 4.&nbsp;&nbsp;匹配 awk ‘BEGIN{print match(“ANCD”,/D/)}’&nbsp;&nbsp;返回结果4，即开始下标 若不匹配，返回0 5.&nbsp;&nbsp;切分 awk ‘BEGIN{split(“1#2#3”,myarray,”#”);print length(myarray)}’ &nbsp; $awk ‘BEGIN{STR=”1#2#3”;split(STR,myarray,”#”)}{for(x in myarray){print myarray[x]}}’ 6.&nbsp;&nbsp;发现并替换【注：sub函数的第三个参数不可直接用字符串，而必须用字符串变量】 &nbsp;&nbsp;&nbsp;awk ‘sub(/26/,”29”,$0)’ data.txt &nbsp;&nbsp;&nbsp;将字符串变量指定字符中第一个符合含有o的用0替换调 awk ‘END{str=”How are you doing?”;sub(/o/,”0”,str);print str}’ data.txt 7.&nbsp;&nbsp;截取字符串 awk ‘BEGIN{print substr(“abcdefg”,1,3)}’ 8.&nbsp;&nbsp;数学函数 awk ‘{print 2^5+sin(2.1)+int(0.9)}’ data.txt&nbsp;在每一行都打印运算值（32.8632） 9.&nbsp;&nbsp;大小写转换 awk ‘{print toupper($2), tolower($2)}’ data.txt 10. match【打印you在字符串中第一个匹配的位置以及长度（9，9，3）】 awk ‘END{print match(“How are you you?”,/you/),RSTART,RLENGTH}’ data.txt </td> 
 </tr> 
 </tbody> 
</table>

## 格式化输出 ##

【注意要自己换行，\\n】

## 数组 ##

## 条件判断及流程控制 ##

<table style="color:rgb(0,0,0); font-family:Arial; font-size:14px; line-height:26px; text-align:left"> 
 <tbody> 
 <tr> 
 <td> 数组 </td> 
 </tr> 
 <tr> 
 <td> F.&nbsp;流程控制： &nbsp;&nbsp;&nbsp;1 if(){….}else{if()….} &nbsp;&nbsp;&nbsp;2 while语句 &nbsp;&nbsp;&nbsp;3 do-while语句 &nbsp;&nbsp;&nbsp;4 for(;;){….} &nbsp;&nbsp;&nbsp;5 exit; (不在END中，文件尾；END中，程序结束) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;break(中断当前正在执行的循环并跳到循环外执行下一条语句)； &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;continue(从当前位置跳到循环开始处执行&nbsp;) &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 条件测试 </td> 
 </tr> 
 <tr> 
 <td> &lt;&nbsp;&nbsp;&lt;=&nbsp;&nbsp;&gt;&nbsp;&nbsp;&gt;=&nbsp;&nbsp;==&nbsp;&nbsp;!= ~匹配正则&nbsp;&nbsp;&nbsp;!~不匹配正则&nbsp;&nbsp;&amp;&amp;（与）、||（或）和括号（） </td> 
 </tr> 
 <tr> 
 <td> 1.&nbsp;&nbsp;小于 awk '{if($6&lt;$7) print $0}' awk.txt 2.&nbsp;&nbsp;小于等于 awk '{if($6&lt;=$7) print $0}' awk.txt 3.&nbsp;&nbsp;大于 awk '{if($6&gt;$7) print $0}' awk.txt 4.&nbsp;&nbsp;打印最后一个域为44的 awk ‘$7==”44” {print $0}’ data.txt 5.&nbsp;&nbsp;打印第四个字段为G开头的 awk ‘{if($4 ~/G*/) print $0} data.txt 6.&nbsp;&nbsp;打印第四字段非Brown的 awk ‘{if($4 !~/Brown/) print $0}’ data.txt 7.&nbsp;&nbsp;比较最后两个字段符合的 awk ‘{if($6 &lt; $7) print $0 “ABC”}’ data.txt 8.&nbsp;&nbsp;多条件&nbsp;&nbsp;&amp;&amp; || ! awk ‘{if($1 == “A” &amp;&amp; $2==”B”) print $0}’&nbsp;&nbsp;data.txt </td> 
 </tr> 
 <tr> 
 <td> for循环 </td> 
 </tr> 
 <tr> 
 <td> for(x = 1 ; x&lt;=4 ; x++) { &nbsp;&nbsp;&nbsp;Print “interation”,x } &nbsp; </td> 
 </tr> 
 <tr> 
 <td> while循环 </td> 
 </tr> 
 <tr> 
 <td> x=1 while(x&lt;NF){ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print $x “\t” &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;x++ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if(x == 2) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;break } } count=1 </td> 
 </tr> 
 <tr> 
 <td> do while </td> 
 </tr> 
 <tr> 
 <td> do{ print “” }while(count != 1) </td> 
 </tr> 
 </tbody> 
</table>

## 与shell交互 ##

## awk与变量 ##

## 错误排查 ##

## 其他 ##

<table style="color:rgb(0,0,0); font-family:Arial; font-size:14px; line-height:26px; text-align:left"> 
 <tbody> 
 <tr> 
 <td> 其他 </td> 
 </tr> 
 <tr> 
 <td> 调用脚本 </td> 
 </tr> 
 <tr> 
 <td> stu.awk !/bin/awk –f BEGIN{ print”ABC” print “DEF” } {total+=56} END{ &nbsp;&nbsp;&nbsp;print “Total” total &nbsp;&nbsp;&nbsp;print “AVG” total/WR } </td> 
 </tr> 
 <tr> 
 <td> 自定义函数 </td> 
 </tr> 
 <tr> 
 <td> 定义方法如下： &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;function&nbsp;函数名(参数表){ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;函数体 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} 直接调用，但不执行参数有效性检查&nbsp;(多余的参数会被awk所忽略，而不足的参数，awk将它们置为缺省值0或空字符串&nbsp;) 返回值：return&nbsp;返回值 </td> 
 </tr> 
 <tr> 
 <td> 重定向输出和特别函数getline实例 </td> 
 </tr> 
 <tr> 
 <td> a．awk ‘{print FILENAME,$0}’ data1.txt data2.txt &gt;data_all.txt 把第一个文件和第二个文件合并到data_all.txt中,新文件第一列为原始文件名,后面列为原始文件内容。 b．awk ‘$1!=fd{close(fd);fd=$1} {print substr($0,index($0,“ ”)+1)&gt;$1}’ data_all.txt 把合并后的新文件data.txt重新拆开成原来的两个子文件，依照新文件的第一列来产生新文件名。生成一个完整子文件后，关闭之；再生成下一个子文件。 A．getline从整体上来说，应这么理解它的用法： 当其左右无重定向符&nbsp;|&nbsp;或&nbsp;&lt;&nbsp;时，getline作用于当前文件，读入当前文件的第一行给其后跟的变量&nbsp;var&nbsp;或$0（无变量）；应该注意到，由于awk在处理getline之前已经读入了一行，所以getline得到的返回结果是隔行的。 当其左右有重定向符&nbsp;|&nbsp;或&nbsp;&lt;&nbsp;时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。 B．getline用法大致可分为三大类（每大类又分两小类），即总共有6种用法。代码如下： nawk ‘BEGIN{“cat data.txt”|getline d; print d}’ data2.txt nawk ‘BEGIN{“cat data.txt”|getline; print $0}’ data2.txt nawk ‘BEGIN{getline d &lt; “data.txt”; print d}’ data2.txt nawk ‘BEGIN{getline &lt; “data.txt”; print $0}’ data2.txt 以上四行代码均实现“只打印data.txt文件的第一行”（若打印全部行，用循环） eg. nawk ‘BEGIN{FS=”:”;while(getline&lt;”/etc/passwd”&gt;0){print $1}}’ data.txt nawk ‘{getline d; print d”#”$3}’ data.txt awk首先读入第一行，接着处理getline函数，然后把下一行指定给变量d，再先打印d，由于d后面有换行符，所以后面紧跟的＃会覆盖d，后面的$3同样也会覆盖d。 nawk ‘{getline; print $&lt;?xml:namespace prefix = st1 ns = "urn:schemas-microsoft-com:office:smarttags" /&gt;0”#”$3}’ data.txt awk首先读入第一行接着处理getline函数，然后把下一行指定给$0，现在的$0已经是下一行内容，后面的#和$3（从$0中取）会覆盖$0的内容。 c．nawk ‘BEGIN{system(“echo \”input your name:\” ”);getline var; print “\nYour name is”,d,”\n”}’ 系统提示输入名字，然后将输入的名字打印出来。特别注意：该awk语句后没有输入文件名，而是利用键盘输入作为文件名 </td> 
 </tr> 
 <tr> 
 <td> 一个例子 </td> 
 </tr> 
 <tr> 
 <td> 从一个有6千多万行的文件中，每6千行提取一行； 解决： 第一种方法： lineNum=0; while read line do if [ $((lineNum++%6000)) -eq 0 ]; then echo $line fi done&lt;$inputFile 第2种方法： awk '(NR%6000==0){print $0}' $inputFile </td> 
 </tr> 
 </tbody> 
</table>