linux 文本处理 awk 几个特殊的内置变量

秒速五厘米 2021-08-31 08:27 318阅读 0赞

1、特殊变量：

**NR：**读取到所有记录（包括多个文件）的行数索引号（大概是Number Of Record的意思）；  
**FNR：**只的是awk所读取到的每个文件中的行数索引号，当文件发生切换时候，FNR重新从1开始，大概是File Number Of Record的意思；  
**NF：**当前行中的字段个数（列数）；

注：awk可以指定同时读取多个文件，按照指定的先后顺序，逐个读取。

FS：输入字段分隔符（默认值为空格）  
OFS：输出字段分隔符（默认值为空格）  
RS：输入记录分隔符（默认值为换行符）  
ORS：输出记录分隔符（默认值为换行符）

2、NR和FNR区别：

1）对于单个文件NR 和FNR 的 输出结果一样的 ，例如：

# awk '{print NR,$0}' file1 
    1 a b c d
    2 a b d c
    3 a c b d
     
    #awk '{print FNR,$0}' file1 
    1 a b c d
    2 a b d c
    3 a c b d

2）对于多个文件结果就不一样了，例如：

# awk '{print NR,$0}' file1 file2
    1 a b c d
    2 a b d c
    3 a c b d
    4 aa bb cc dd
    5 aa bb dd cc
    6 aa cc bb dd
     
    # awk '{print FNR,$0}' file1 file2
    1 a b c d
    2 a b d c
    3 a c b d
    1 aa bb cc dd
    2 aa bb dd cc
    3 aa cc bb dd

3）利用NR和FNR完成两个文件的关联Join：  
有两个简单的文件

[liuxiaowen@getway tmp]$ cat a.txt 
    1,a-1
    2,a-2
    3,a-3
    4,a-4
    [liuxiaowen@getway tmp]$ cat b.txt 
    2,b-2
    4,b-4
    5,b-5

![70][]

上面第一个命令中，awk只读取一个文件，因此NR和FNR是一样的；第二个命令有两个文件，从NR=5开始读取第二个文件b.txt。  
由这点可以得出一个规则：当NR==FNR时候，读取到的内容为第一个文件的内容，当NR!=FNR时候，读取到的内容是第二个文件的。看下面的命令：

[liuxiaowen@getway tmp]$ awk -F',' 'NR==FNR{a[$1]=$2;}NR!=FNR{print $0,a[$1]}' b.txt a.txt 
    1,a-1 
    2,a-2 b-2
    3,a-3 
    4,a-4 b-4

从输出的结果来看，已经将两个文件通过第一列的值join起来，准确的说是a.txt left outer join b.txt。解释一下这个命令：  
第一部分：

NR==FNR{a[$1]=$2;}

a是一个数组；当NR==FNR，也就是读取第一个文件的内容（第一个文件就是后面的b.txt），以b.txt中的$1作为数组索引号，以b.txt中的$2作为数组的值；因此，第一部分过后，有了一个数组a,具体的值为 a\[2\]=”b-2″, a\[4\]=”b-4″, a\[5\]=”b-5″  
再看第二部分：

NR!=FNR{print $0,a[$1]}

当NR!=FNR时候，也就是读取第二个文件的内容（a.txt），print $0（打印a.txt中的内容），以及a\[$1\]，这里的含义是以a.txt中的$1为索引号，去数组a中获取值，因为之前数组a中的索引号有2,4,5；因此a.txt中第一列为2和4的记录从数组a中获取到了值，1,3,5在数组a中不存在。

如果是将两个文件做内关联：

[liuxiaowen@getway tmp]$ awk -F',' 'NR==FNR{a[$1]=$2;}NR!=FNR && a[$1] {print $0,a[$1]}' b.txt a.txt  
    2,a-2 b-2
    4,a-4 b-4

变了一个条件：NR!=FNR && a\[$1\]  
读取第二个文件的内容，并且第二个文件的$1在数组中存在，也可以写成 $1 in a

[liuxiaowen@getway tmp]$ awk -F',' 'NR==FNR{a[$1]=$2;}NR!=FNR && $1 in a {print $0,a[$1]}' b.txt a.txt      
    2,a-2 b-2
    4,a-4 b-4

[70]: /images/20210728/63c787bd9c654594945b80b47a4e036b.png