Linux脚本中的字符处理与awk编程

电玩女神 2023-02-27 08:25 40阅读 0赞

## **【1】字符提取与输出格式化** ##

### ① cut列提取命令 ###

**语法格式**

cut [选项] 文件名

**选项：**

*  \-f 列号： 提取第几列
 *  \-d 分隔符： 按照指定分隔符分割列
 *  \-c 字符范围： 不依赖分隔符来区分列，而是通过字符范围（行首为0）来进行字段提取。“n-”表示从第n个字符到行尾；“n-m”从第n个字符到第m个字符；“-m”表示从第1个字符到第m个字符。

**cut命令的默认分隔符是制表符，也就是“tab”键。**

测试文本如下(用Tab键分割)：  
![在这里插入图片描述][20200716174602276.png]  
测试实例如下：

#提取第二列内容
    [root@bogon shell]# cut -f 2 student.txt
    Name
    Liming
    Sc
    Tg
    
    #提取2 3列内容
    [root@bogon shell]# cut -f 2,3 student.txt
    Name    gender
    Liming  M
    Sc      M
    Tg      M

cut可以按照字符进行提取，需要注意“8-”代表的是提取所有行的第8个字符开始到行尾，而“10-20”代表提取所有行的第十个字符到第二十个字符，而“-8”代表提取所有行从行首到第八个字符：

[root@bogon shell]# cut -c 8- student.txt
            gender  Mark
    g       M       86
    90
    83

**以`“：”`作为分隔符，提取/etc/passwd文件的第一列和第三列**

[root@bogon shell]# cut -d ":" -f 1,3 /etc/passwd
    root:0
    bin:1
    daemon:2
    adm:3
    lp:4
    sync:5
    shutdown:6
    halt:7
    mail:8
    operator:11
    games:12
    ftp:14
    nobody:99
    systemd-network:192
    //...

--------------------

### ② printf格式化输出 ###

**语法格式：**

printf  '输出类型输出格式' 输出内容

**输出类型：**

*  `%ns`： 输出字符串。n是数字指代输出几个字符(n可为0)
 *  `%ni`： 输出整数。n是数字指代输出几个数字(n可为0)
 *  `%m.nf`： 输出浮点数。m和n是数字，指代输出的整数位数和小数位数。如%8.2f代表共输出8位数，其中2位是小数，6位是整数。

**输出格式：**

*  \\a: 输出警告声音
 *  \\b: 输出退格键，也就是Backspace键
 *  \\f: 清除屏幕
 *  \\n: 换行
 *  \\r: 回车，也就是Enter键
 *  \\t: 水平输出退格键，也就是Tab键
 *  \\v: 垂直输出退格键，也就是Tab键

**修改student.txt如下：**

![在这里插入图片描述][20200716193710172.png]  
测试实例如下：

[root@bogon shell]# printf '%s' $(cat student.txt)
    IDNamePHPLinuxMySQLAverage1Liming82958687.662Sc74968785.663Tg99839391.66[root@bogon shell]#

可以看到文本内容直接平铺输出没有任何格式。这就是printf命令，如果不指定输出格式，则会把所有输出内容连在一起输出。

> 其实文本的输出本身就是这样的，cat等文本输出命令之所以可以按照格式漂亮的输出，那是因为cat命令已经设定了输出格式。

那么为了用printf输出合理的格式，应该这样做(注意在printf命令的单引号中，只能识别格式输出符号，而手工输入的空格是无效的)：

[root@bogon shell]# printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)
    ID       Name    PHP     Linux   MySQL   Average
    1        Liming  82      95      86      87.66
    2        Sc      74      96      87      85.66
    3        Tg      99      83      93      91.66

如果不想把成绩当成字符串输出，而是按照整型和浮点型输出，则要这样：

#grep  -v Name) 表示不包含Name那一行,即反向查找
    [root@bogon shell]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt | grep  -v Name)
    1        Liming  82      95      86         87.66
    2        Sc      74      96      87         85.66
    3        Tg      99      83      93         91.66

### awk中print与printf使用 ###

如下实例，awk+print打印第二行数据：

[root@localhost shell]# cat student.txt
    ID      Name    PHP     Linux   MySQL   Average
    1       Liming  82      95      86      87.66
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66
    [root@localhost shell]# cat student.txt | awk 'NR==2{print}'
    1       Liming  82      95      86      87.66

awk+printf 打印第二行数据：

[root@localhost shell]# awk 'NR==2{printf $0 "\n"}' student.txt
    1       Liming  82      95      86      87.66

--------------------

## 【2】awk编程 ##

awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。可以点击参考[更多awk介绍][awk]。

**常用命令选项**

*  \-F fs fs指定输入分隔符，fs可以是字符串或正则表达式，如-F:
 *  \-v var=value 赋值一个用户定义变量，将外部变量传递给awk
 *  \-f scripfile 从脚本文件中读取awk命令
 *  \-m\[fr\] val 对val值设置内在限制，-mf选项限制分配给val的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。

### ① awk的基本语法 ###

**语法格式如下：**

awk  '条件1{动作1} 条件2{动作2}…'  文件名
    
    #完整格式如下
    awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' file

条件（Pattern）：  
一般使用关系表达式作为条件，这些关系表达式非常多。例如：

*  x > 10 判断变量 x是否大于10
 *  x == y 判断变量 x是否等于变量y
 *  A ~ B 判断字符串A中是否包含能匹配B 表达式的子字符串
 *  A !~ B 判断字符串A中是否不包含能匹配B表达式的子字符串

动作（Action）：

*  格式化输出
 *  流程控制语句

使用awk+printf进行输出：

#输出第二列和第六列
    [root@localhost shell]# awk '{printf $2 "\t" $6 "\n"}' student.txt
    Name    Average
    Liming  87.66
    Sc      85.66
    Tg      91.66
    #效果等同于如下
    [root@localhost shell]# cut -f 2,6 student.txt
    Name    Average
    Liming  87.66
    Sc      85.66
    Tg      91.66

输出df -h的第一列和第三列：

[root@localhost shell]# df -h |awk '{printf $1 "\t" $3 "\n"}'
    Filesystem      Used
    devtmpfs        0
    tmpfs   0
    tmpfs   8.4M
    tmpfs   0
    /dev/mapper/centos-root 5.4G
    /dev/sda1       171M
    tmpfs   12K
    tmpfs   0

--------------------

### ② awk的条件 ###

<table> 
 <thead> 
  <tr> 
   <th>条件的类型</th> 
   <th>条 件</th> 
   <th align="left">说 明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>awk保留字</td> 
   <td>BEGIN</td> 
   <td align="left">在awk程序一开始时，尚未读取任何数据之前执行。BEGIN后的动作只在程序开始时执行一次</td> 
  </tr> 
  <tr> 
   <td>awk保留字</td> 
   <td>END</td> 
   <td align="left">在awk程序处理完所有数据，即将结束时执行。END后的动作只在程序结束时执行一次</td> 
  </tr> 
  <tr> 
   <td>关系运算符</td> 
   <td>&gt;</td> 
   <td align="left">大于</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>&lt;</td> 
   <td align="left">小于</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>&gt;=</td> 
   <td align="left">大于等于</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>&lt;=</td> 
   <td align="left">小于等于</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>==</td> 
   <td align="left">等于。用于判断两个值是否相等，如果是给变量赋值，请使用“=”号</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>!=</td> 
   <td align="left">不等于</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>A~B</td> 
   <td align="left">判断字符串A中是否包含能匹配B 表达式的子字符串</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>A!~B</td> 
   <td align="left">判断字符串A中是否不包含能匹配B表达式的子字符串</td> 
  </tr> 
  <tr> 
   <td>正则表达式</td> 
   <td><code>/正则/</code></td> 
   <td align="left">在<code>“//”</code>中可以写入字符，也可以支持正则表达式</td> 
  </tr> 
 </tbody> 
</table>

**BEGIN**

BEGIN是awk的保留字，是一种特殊的条件类型。BEGIN的执行时机是“在awk程序一开始时，尚未读取任何数据之前执行”。一旦BEGIN后的动作执行一次，当awk开始从文件中读入数据，BEGIN的条件就不再成立，所以BEGIN定义的动作只能被执行一次。

如下所示，在程序开始时打印“这是一张成绩单”，然后输出student.txt中的第2列和第6列：

[root@localhost shell]# awk 'BEGIN{printf "This is a transcript \n"} {printf $2 "\t" $6 "\n"}' student.txt
    This is a transcript
    Name    Average
    Liming  87.66
    Sc      85.66
    Tg      91.66

**END**

END也是awk保留字，不过刚好和BEGIN相反。END是在awk程序处理完所有数据，即将结束时执行。END后的动作只在程序结束时执行一次。

测试实例如下：

[root@localhost shell]# awk 'END{printf "This is end \n"} {printf $2 "\t" $6 "\n"}' student.txt
    Name    Average
    Liming  87.66
    Sc      85.66
    Tg      91.66
    This is end

**关系运算符**

如下输出平均分大于等于97的学生姓名：

[root@localhost shell]# cat student.txt | grep -v Name
    1       Liming  82      95      86      87.66
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66
    [root@localhost shell]# cat student.txt | grep -v Name|awk '$6>=87{printf $2 "\n"}'
    Liming
    Tg

加入了条件之后，只有条件成立动作才会执行，如果条件不满足，则动作则不运行。通过这个实验可以发现，`虽然awk是列提取命令，但是也要按行来读入的`。这个命令的执行过程是这样的：

*  1） 如果有BEGIN条件，则先执行BEGIN定义的动作
 *  2） 如果没有BEGIN条件，则读入第一行，把第一行的数据依次赋予$0、$1、$2等变量。其中$0代表此行的整体数据，$1代表第一字段，$2代表第二字段。
 *  3） 依据条件类型判断动作是否执行。如果条件符合，则执行动作，否则读入下一行数据。如果没有条件，则每行都执行动作。
 *  4） 读入下一行数据，重复执行以上步骤。

如下查询Sc用户的平均分：

[root@localhost shell]# awk '$2~/Sc/{printf $6 "\n"}' student.txt
    85.66

这里要注意在awk中，使用`“//”`包含的字符串，awk命令才会查找。也就是说字符串必须用`“//”`包含，awk命令才能正确识别。

**正则表达式**

如果要想让awk识别字符串，必须使用“//”包含。当使用df命令查看分区使用情况是，如果我只想查看真正的系统分区的使用状况，而不想查看光盘和临时分区的使用状况，则可以

[root@localhost shell]# df -h |awk '/sda[0-9]/{printf $1 "\t" $5 "\n"}'
    /dev/sda1       17%
    
    #如果想获取17则可以和cut命令配合使用
    [root@localhost shell]# df -h |awk '/sda[0-9]/{print $5 "\n"}'|cut -d "%" -f 1
    17

--------------------

### ③ awk内置变量 ###

<table> 
 <thead> 
  <tr> 
   <th align="left">awk内置变量</th> 
   <th align="left">作 用</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><code>$0</code></td> 
   <td align="left">代表目前awk所读入的整行数据。我们已知awk是一行一行读入数据的，$0就代表当前读入行的整行数据</td> 
  </tr> 
  <tr> 
   <td align="left"><code>$n</code></td> 
   <td align="left">代表目前读入行的第n个字段</td> 
  </tr> 
  <tr> 
   <td align="left">NF</td> 
   <td align="left">当前行拥有的字段（列）总数</td> 
  </tr> 
  <tr> 
   <td align="left">NR</td> 
   <td align="left">当前awk所处理的行，是总数据的第几行</td> 
  </tr> 
  <tr> 
   <td align="left">FS</td> 
   <td align="left">用户定义分隔符。awk的默认分隔符是任何空格，如果想要使用其他分隔符（如“：”），就需要FS变量定义</td> 
  </tr> 
  <tr> 
   <td align="left">ARGC</td> 
   <td align="left">命令行参数个数</td> 
  </tr> 
  <tr> 
   <td align="left">ARGV</td> 
   <td align="left">命令行参数数组</td> 
  </tr> 
  <tr> 
   <td align="left">FNR</td> 
   <td align="left">当前文件中的当前记录数（对输入文件起始为1）</td> 
  </tr> 
  <tr> 
   <td align="left">OFMT</td> 
   <td align="left">数值的输出格式（默认为<code>%.6g</code>)</td> 
  </tr> 
  <tr> 
   <td align="left">OFS</td> 
   <td align="left">输出字段的分隔符（默认为空格）</td> 
  </tr> 
  <tr> 
   <td align="left">ORS</td> 
   <td align="left">输出记录分隔符（默认为换行符）</td> 
  </tr> 
  <tr> 
   <td align="left">RS</td> 
   <td align="left">输入记录分隔符（默认为换行符）</td> 
  </tr> 
 </tbody> 
</table>

读取登录用户的名称和用户标识号(`用户名:口令:用户标识号:组标识号:注释性描述:主目录:登录Shell`)

[root@localhost shell]# cat /etc/passwd | grep "/bin/bash" | awk '{FS=":"} {printf $1 "\t" $3 "\n"}'
    root:x:0:0:root:/root:/bin/bash
    jane    1000

可以看到第一行的`{FS=":"}`并没有起作用，第二行才开始起作用。这是因为没有使用BEGIN保留字，awk读入每行数据后会判断是否有begin，如果没有begin则根据条件执行每个动作。修改命令如下：

[root@localhost shell]# cat /etc/passwd | grep "/bin/bash" | awk 'BEGIN{FS=":"} {printf $1 "\t" $3 "\n"}'
    root    0
    jane    1000

在上面基础上继续输出当前行号和字段数：

[root@localhost shell]# cat /etc/passwd | grep "/bin/bash" | awk 'BEGIN{FS=":"} {printf $1 "\t" $3 "\t 行号："NR "\t 字符数："NF "\n"}'
    root    0        行号：1         字符数：7
    jane    1000     行号：2         字符数：7

如果我只想看看sshd这个伪用户的相关信息，则可以这样使用：

[root@localhost shell]# cat /etc/passwd  | awk 'BEGIN{FS=":"} $1=="sshd"{printf $1 "\t" $3 "\t 行号："NR "\t 字符数："NF "\n"}'               sshd    74       行号：40        字符数：7

--------------------

### ④ awk流程控制 ###

**4.1在awk中定义变量与调用变量的值**

统计PHP成绩的总分实例如下：

[root@localhost shell]# awk 'NR==2{php1=$3}
    NR==3{php2=$3}
    NR==4{php3=$3;totle=php1+php2+php3;printf "totle php is " totle "\n"}' student.txt
    totle php is 255

在awk编程中，因为命令语句非常长，在输入格式时需要注意以下内容：

*  多个`条件{动作}`可以用空格分割，也可以用回车分割。
 *  在一个动作中，如果需要执行多个命令，需要用`“；”`分割，或用回车分割。
 *  在awk中，变量的赋值与调用都不需要加入`“$”`符。
 *  条件中判断两个值是否相同，请使用`“==”`，以便和变量赋值进行区分。

如下输出Linux成绩大于90的：

[root@localhost shell]# awk '{if(NR>=2){if($4>=90){printf $2 "\tis a good man\n"}}}' student.txt
    Liming  is a good man
    Sc      is a good man
    
    # 这里里侧{}可以去掉，如下所示
    [root@localhost shell]# awk '{if(NR>=2){if($4>=90)printf $2 "\tis a good man\n"}}' student.txt
    Liming  is a good man
    Sc      is a good man
    
    #还可以修改如下
    [root@localhost shell]# awk 'NR>=2{if($4>=90)printf $2 "\tis a good man\n"}' student.txt
    Liming  is a good man
    Sc      is a good man
    
    #在awk中if判断语句，完全可以直接利用awk自带的条件来取代
    [root@localhost shell]# awk 'NR>=2{test=$4} test>=90{printf $2 "\tis a good man\n"}' student.txt
    Liming  is a good man
    Sc      is a good man

--------------------

### ⑤ awk函数 ###

awk编程也允许在编程时使用函数，awk函数的定义方法如下：

function 函数名（参数列表）{
    	函数体
    }

如下所示打印学生成绩：

[root@localhost shell]# awk 'function test(a,b){printf a "\t" b "\n"} {test($2,$6)}' student.txt
    Name    Average
    Liming  87.66
    Sc      85.66
    Tg      91.66

--------------------

### ⑥ awk中调用脚本 ###

对于小的单行程序来说，将脚本作为命令行自变量传递给awk是非常简单的，而对于多行程序就比较难处理。当程序是多行的时候，使用外部脚本是很适合的。首先在外部文件中写好脚本，然后可以使用`awk的-f选项`，使其读入脚本并且执行。

例如，我们可以先编写一个awk脚本

[root@localhost ~]# vi pass.awk
    BEGIN {FS=":"}
    { print $1 "\t" $3}

然后可以使用`“-f”`选项来调用这个脚本：

[root@localhost ~]# awk -f pass.awk /etc/passwd
    root 0
    bin 1
    daemon 2
    //...

### ⑦ 应用案例 ###

**重启springboot**

#!/bin/bash
    #jar名字
    project=yihuiyuan-0.0.1-SNAPSHOT.jar
    num=$(ps -ef|grep $project| wc -l)
    for (( i=1;i<=$num;i++  ))
    	 do
    		pid=$( ps -ef|grep $project| awk -v row=$i 'NR==row{printf $2 "\n"}')
    		if [ -n "$pid"  ];then 
    			kill -9 $pid
    		fi
            done
    if  [ -f nohup.out  ];then
    	rm -rf ./nohup.out
    fi
    if  [ -f "$project"  ];then
        rm -rf ./"$project"
    	touch nohup.out
    fi
    #假设新的jar放在了脚本的上一级目录
    mv ../"$project" ./
    nohup java -jar "$project"  &>nohup.out &
    tail -f nohup.out

--------------------

## 【3】sed命令 ##

sed主要是用来将数据进行选取、替换、删除、新增的命令，语法格式如下：

sed [选项] ‘[动作]’ 文件名

**选项：**

*  \-n： 一般sed命令会把所有数据都输出到屏幕，如果加入此选择，则只会把经过sed命令处理的行输出到屏幕。
 *  \-e： 允许对输入数据应用多条sed命令编辑。
 *  \-f 脚本文件名： 从sed脚本中读入sed操作。和awk命令的-f非常类似。
 *  \-r： 在sed中支持扩展正则表达式。
 *  \-i： 用sed的修改结果直接修改读取数据的文件，而不是由屏幕输出

**动作：**

*  a \\： 追加，在当前行后添加一行或多行。添加多行时，除最后 一行外，每行末尾需要用“\\”代表数据未完结。
 *  c \\： 行替换，用c后面的字符串替换原数据行，替换多行时，除最后一行外，每行末尾需用“\\”代表数据未完结。
 *  i \\： 插入，在当期行前插入一行或多行。插入多行时，除最后 一行外，每行末尾需要用“\\”代表数据未完结。
 *  d： 删除，删除指定的行。
 *  p： 打印，输出指定的行。
 *  s： 字串替换，用一个字符串替换另外一个字符串。格式为“`行范围s/旧字串/新字串/g`”（和vim中的替换格式类似）。

对sed命令大家要注意，sed所做的修改并不会直接改变文件的内容（如果是用管道符接收的命令的输出，这种情况连文件都没有），而是把修改结果只显示到屏幕上，除非使用“-i”选项才会直接修改文件。

**操作实例**

打印student.txt第二行数据：

[root@localhost shell]# sed -n "2p" student.txt
    1       Liming  82      95      86      87.66

删除第二行到第四行的数据：

[root@localhost shell]# sed "2,4d" student.txt
    ID      Name    PHP     Linux   MySQL   Average
    
    #但是文件本身并没有修改
    [root@localhost shell]# cat student.txt
    ID      Name    PHP     Linux   MySQL   Average
    1       Liming  82      95      86      87.66
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66

在第二行后插入数据：

[root@localhost shell]# sed "2a hello" student.txt
    ID      Name    PHP     Linux   MySQL   Average
    1       Liming  82      95      86      87.66
    hello
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66

在第二行前插入数据：

[root@localhost shell]# sed "2i hello" student.txt
    ID      Name    PHP     Linux   MySQL   Average
    hello
    1       Liming  82      95      86      87.66
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66

如果是想追加或插入多行数据，除最后一行外，每行的末尾都要加入“\\”代表数据未完结：

[root@localhost shell]# sed '2i hello \
    > world' student.txt
    ID      Name    PHP     Linux   MySQL   Average
    hello
    > world
    1       Liming  82      95      86      87.66
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66

加上-n只查看sed处理过的数据：

[root@localhost shell]# sed  -n '2i hello \
     world' student.txt
    hello
     world

行数据替换(替换掉第二行数据)：

[root@localhost shell]# cat student.txt | sed '2c No such person'
    ID      Name    PHP     Linux   MySQL   Average
    No such person
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66

sed命令默认情况是不会修改文件内容的，如果确定需要让sed命令直接处理文件的内容，可以使用`“-i”`选项。如下所示修改文本第二行数据：

[root@localhost shell]# sed -i '2c No such person' student2.txt
    [root@localhost shell]# cat student2.txt
    ID      Name    PHP     Linux   MySQL   Average
    No such person
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66

**字符串替换**

“c”动作是进行整行替换的，如果仅仅想替换行中的部分数据，就要使用“s”动作了。s动作的格式是：`sed ‘s/旧字串/新字串/g’ 文件名`

操作实例如下：

#把第三行的74 改为 99
    [root@localhost shell]# sed '3s/74/99/g' student.txt
    ID      Name    PHP     Linux   MySQL   Average
    1       Liming  82      95      86      87.66
    2       Sc      99      96      87      85.66
    3       Tg      99      83      93      91.66
    
    #第四行手添加#号表示注释
    [root@localhost shell]# sed '4s/^/#/g' student2.txt
    ID      Name    PHP     Linux   MySQL   Average
    No such person
    2       Sc      74      96      87      85.66
    #3      Tg      99      83      93      91.66

--------------------

**同时处理多行**

`“-e”`选项可以同时执行多个sed动作，当然如果只是执行一个动作也可以使用`“-e”`选项，但是这时没有什么意义。还要注意，多个动作之间要用`“；”`号或`回车`分割。

[root@localhost shell]# cat student2.txt
    ID      Name    PHP     Linux   MySQL   Average
    1       Liming  82      95      86      87.66
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66
    
    [root@localhost shell]# sed -e 's/Liming//g ; s/Tg//g' student2.txt
    ID      Name    PHP     Linux   MySQL   Average
    1               82      95      86      87.66
    2       Sc      74      96      87      85.66
    3               99      83      93      91.66
    
    #可以修改如下
    [root@localhost ~]# sed -e 's/Liming//g
    > s/Tg//g' student2.txt

--------------------

## 【4】字符处理命令 ##

### ① 排序命令sort ###

**语法格式**：`sort [选项] 文件名`

**选项：**

*  \-f： 忽略大小写
 *  \-b： 忽略每行前面的空白部分
 *  \-n： 以数值型进行排序，默认使用字符串型排序
 *  \-r： 反向排序
 *  \-u： 删除重复行。就是uniq命令
 *  \-t： 指定分隔符，默认是分隔符是制表符
 *  \-k n\[,m\]： 按照指定的字段范围排序。从第n字段开始，m字段结束（默认到行尾）

sort命令默认是用每行开头第一个字符来进行排序的，如对student.txt默认排序如下：

[root@localhost shell]# sort student.txt
    1       Liming  82      95      86      87.66
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66
    ID      Name    PHP     Linux   MySQL   Average

反向排序：

[root@localhost shell]# sort -r student.txt
    ID      Name    PHP     Linux   MySQL   Average
    3       Tg      99      83      93      91.66
    2       Sc      74      96      87      85.66
    1       Liming  82      95      86      87.66

以第三列字段排序：

[root@localhost shell]# sort -k 3,3 student.txt
    2       Sc      74      96      87      85.66
    1       Liming  82      95      86      87.66
    3       Tg      99      83      93      91.66
    ID      Name    PHP     Linux   MySQL   Average

当然“-k”选项可以直接使用“-k 3”，代表从第三字段到行尾都排序（第一个字符先排序，如果一致，第二个字符再排序，知道行尾）。

删除重复行：

#如下首先快速复制一行
    ID      Name    PHP     Linux   MySQL   Average
    1       Liming  82      95      86      87.66
    1       Liming  82      95      86      87.66
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66
    
    #使用 -u选项取消重复行
    [root@localhost shell]# sort -u student2.txt
    1       Liming  82      95      86      87.66
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66
    ID      Name    PHP     Linux   MySQL   Average
    
    #但是并不会改变源文件
    [root@localhost shell]# cat student2.txt
    ID      Name    PHP     Linux   MySQL   Average
    1       Liming  82      95      86      87.66
    1       Liming  82      95      86      87.66
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66

### ② uniq命令 ###

其实是对应unique(单独、唯一)，uniq命令是用来取消重复行的命令，和“sort -u”选项是一样的。命令格式如下：

uniq [选项] 文件名

**选项**：

*  \-i： 忽略大小写
 *  \-d：打印重复行的一行
 *  \-D：打印所有重复行
 *  \-u：打印非重复行

[root@localhost shell]# uniq -d student2.txt
    1       Liming  82      95      86      87.66
    
    [root@localhost shell]# uniq -D student2.txt
    1       Liming  82      95      86      87.66
    1       Liming  82      95      86      87.66
    
    [root@localhost shell]# uniq -u student2.txt
    ID      Name    PHP     Linux   MySQL   Average
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66

--------------------

### ③ 统计命令wc ###

wc命令用来计算数字。利用wc指令我们可以计算文件的Byte数、字数或是列数，若不指定文件名称，或是所给予的文件名为“-”，则wc指令会从标准输入设备读取数据。

**语法：**

wc(选项)(参数)

**选项：**

-c： 统计字节数Bytes
    -l： 只统计行数
    -w： 只统计单词数
    -m： 只统计字符数

**参数：**

文件：需要统计的文件列表。

**实例**

#文件实例
    [root@localhost shell]# cat student2.txt
    ID      Name    PHP     Linux   MySQL   Average
    1       Liming  82      95      86      87.66
    中      Liming  82      95      86      87.66
    2       Sc      74      96      87      85.66
    3       Tg      99      83      93      91.66
    
    #统计单词数
    [root@localhost shell]# wc -w student2.txt
    30 student2.txt
    
    #统计字符数
    [root@localhost shell]# wc -m student2.txt
    120 student2.txt
    
    #统计字节数
    [root@localhost shell]# wc -c student2.txt
    122 student2.txt
    
    #统计行数
    [root@localhost shell]# wc -l student2.txt
    5 student2.txt

[20200716174602276.png]: /images/20230209/6c43641cbcd64956922148df46882832.png
[20200716193710172.png]: /images/20230209/66ee9b91e8a846868e5793976322451f.png
[awk]: https://man.linuxde.net/awk