Shell脚本入门（二）cut&sed&awk&sort

秒速五厘米 2024-04-17 21:48 58阅读 0赞

**目录**

1、函数

2、Shell工具之cut

3、shell工具之sed

4、shell工具之awk

5、shell工具之sort

--------------------

### 1、函数 ###

**（一）系统函数**

**①basename: 将文件全路径中最后一个/（包括/）前的字符串去掉，然后将字符串显示出来。**

语法： basename \[pathname\] \[suffix\]

其中pathname为文件全路径，\[suffix\]为文件后缀，要是加上\[suffix\]，则会将文件后缀也会删掉。

![201909011916233.png][]  
**②dirname：将文件全路径中包含文件名称的那部分去掉，仅显示出目录部分。**

![20190901192207531.png][]

**（二）自定义函数**

**注意：函数必须在使用之前声明，因为shell脚本是逐行执行的。**

练习：使用函数计算两个数字之和。

#!/bin/bash
    
    function sum() {
      sum=$[$1+$2]
      echo $sum
    }
    
    read -p "please enter num1:" NUM1
    read -p "please enter num2:" NUM2
    
    sum $NUM1 $NUM2

![20190901202021558.png][]

### **2、Shell工具之cut** ###

**cut命令：从文件的每一行剪切字节、字符和字段，并将这些字节、字符、字段等输出。**

**基本语法： cut \[参数\] \[文件名\]**

**  参数： -f ：提取第几列**

**             -d： 以什么为分隔符**

练习：1、准备数据文件

wo wo
    ai ai
    java python
    C GO

2、从数据文件中剪切第一列

![20190901203526529.png][]

3、从数据文件中剪切第二、第三列

![20190901203706452.png][]

4、从数据文件中切割出Java

![20190901203826571.png][]

5、切割出系统变量PATH中第二个：后面的所有字符串

[liuzhoujian@hadoop102 learnshell]$ echo $PATH
    /usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/opt/moudle/jdk1.7.0_79/bin:/opt/moudle/hadoop-2.7.2/bin:/opt/moudle/hadoop-2.7.2/sbin:/home/liuzhoujian/bin
    [liuzhoujian@hadoop102 learnshell]$ echo $PATH | cut -d ":" -f 2-
    /usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/opt/moudle/jdk1.7.0_79/bin:/opt/moudle/hadoop-2.7.2/bin:/opt/moudle/hadoop-2.7.2/sbin:/home/liuzhoujian/bin
    [liuzhoujian@hadoop102 learnshell]$

其中**-f 2-**， 表示第二列后面所有字符串。

6、切割出ifconfig eth0中的ip地址

[liuzhoujian@hadoop102 learnshell]$ ifconfig eth0
    eth0      Link encap:Ethernet  HWaddr 00:0C:29:13:5E:72  
              inet addr:192.168.1.102  Bcast:192.168.1.255  Mask:255.255.255.0
              inet6 addr: fe80::20c:29ff:fe13:5e72/64 Scope:Link
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
              RX packets:5023 errors:0 dropped:0 overruns:0 frame:0
              TX packets:2658 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:1000 
              RX bytes:521807 (509.5 KiB)  TX bytes:549276 (536.4 KiB)
    
    [liuzhoujian@hadoop102 learnshell]$ ifconfig eth0 | grep "inet addr"
              inet addr:192.168.1.102  Bcast:192.168.1.255  Mask:255.255.255.0
    [liuzhoujian@hadoop102 learnshell]$ ifconfig eth0 | grep "inet addr" | cut -d ":" -f 2
    192.168.1.102  Bcast
    [liuzhoujian@hadoop102 learnshell]$ ifconfig eth0 | grep "inet addr" | cut -d ":" -f 2 | cut -d " " -f 1
    192.168.1.102

### 3、shell工具之sed ###

sed是一种流编辑器，一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中内容，处理完后，把缓冲区中的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非使用重定向存储输出。

基本用法：

**sed  \[选项参数\]   'command'  filename**

**选项参数说明：**

**-e 直接在指令列模式上进行sed的动作编辑**

**命令功能描述：**

**a   新增，a的后面可以接子串，在下一行出现**

**d   删除**

**s   查找并替换**

练习：1、准备数据

[liuzhoujian@hadoop102 learnshell]$ cat data.txt 
    wo wo 
    ai ai
    java python
    C GO

2、将“hello”这个词添加到data.txt的第二行并打印

[liuzhoujian@hadoop102 learnshell]$ sed '2a hello' data.txt  
    wo wo 
    ai ai
    hello
    java python
    C GO

其中2 代表第二行， a代表添加

注意：此时原文件并没有发生改变

![20190901205950864.png][]

3、删除data.txt中包含wo的行

[liuzhoujian@hadoop102 learnshell]$ sed '/wo/d' data.txt  
    ai ai
    java python
    C GO

4、将data.txt中的wo替换成ni

[liuzhoujian@hadoop102 learnshell]$ sed 's/wo/ni/g' data.txt 
    ni ni 
    ai ai
    java python
    C GO
    
    s替换 g代表global,全部替换

5、将文件第二行删除并将wo替换成ni

[liuzhoujian@hadoop102 learnshell]$ sed -e '2d' -e 's/wo/ni/g' data.txt 
    ni ni 
    java python
    C GO

### 4、shell工具之awk ###

awk是一个强大的**文本分析工具**，把文本逐行读入，以**空格**为默认分隔符将每行切片，切开的部分再进行分析处理。

**  基本用法:**

**    awk   \[可选参数\]  'pattern1\{action1\}   pattern2\{action2\} ... ' filename**

**    pattern: 表示awk在数据中心查找的内容，就是匹配模式**

**    action:在找到匹配内容时所执行的一系列命令**

**    可选参数说明：**

**     -F    指定输入文件分隔符**

**     -v    赋值一个用户自定义变量**

练习：1、数据准备 复制一份/etc/passwd文件作为数据文件

2、输出passwd文件中以root开头的所有行，并输出该行的第七列。

[liuzhoujian@hadoop102 learnshell]$ awk -F ":" '/^root/{print $7}' passwd 
    /bin/bash

3、搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以“，”号分割

[liuzhoujian@hadoop102 learnshell]$ awk -F ":" '/^root/{print $1 "," $7}' passwd    
    root,/bin/bash

4、只显示/etc/passwd的第一列和第七列，以逗号分割，且在所有行前面添加列名user，shell在最后一行添加"dahaige，/bin/zuishuai"

[liuzhoujian@hadoop102 learnshell]$ awk -F ":" 'BEGIN{print "user,  shell"}{print $1 "," $7} END{print "dahaige,/bin/zuishuai"}' passwd    
    user,  shell
    root,/bin/bash
    bin,/sbin/nologin
    ...........
    dahaige,/bin/zuishuai

注意：BEGIN 在所有数据读取行之前执行；END 在所有数据执行之后执行。

5、将passwd文件中的用户id增加数值1并输出

[liuzhoujian@hadoop102 learnshell]$ awk -v i=1 -F ":"  '{print $3+i}' passwd 
    1
    2
    ...

**awk内置变量**

**FILENAME    文件名**

**NR                 已读的记录数**

**NR                 切割后，域的个数**

练习1：统计passwd文件名，每行的行号，每行的列数

[liuzhoujian@hadoop102 learnshell]$ awk -F: '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF}' passwd
    filename:passwd,linenumber:1,columns:7
    filename:passwd,linenumber:2,columns:7
    filename:passwd,linenumber:3,columns:7
    filename:passwd,linenumber:4,columns:7
    filename:passwd,linenumber:5,columns:7

练习2：切割IP

[liuzhoujian@hadoop102 learnshell]$ ifconfig eth0 | grep "inet addr" | awk -F: '{print $2}' | awk -F " " '{print $1}' 
    192.168.1.102

练习3：查询data.txt中空行所在的行号

[liuzhoujian@hadoop102 learnshell]$ cat data.txt 
    wo wo 
    ai ai
    
    java python
    C GO
    [liuzhoujian@hadoop102 learnshell]$ awk '/^$/{print NR}' data.txt 
    3

### 5、shell工具之sort ###

sort用于将文件进行排序，将排序结果标准输出。

**基本语法：  sort （选项）（参数）**

**-n          将按照数值排序**

**-r           以相反的顺序排序**

**-k          指定排序的列**

**-t           设置排序时所用的分隔符**

练习：（1）数据准备

[liuzhoujian@hadoop102 learnshell]$ cat sort.txt 
    s:10:3.5
    bb:40:5.4
    bd:20:4.2
    xz:50:2.3
    cls:10:3.5
    ss:30:1.6

（2）按照“：”分割后的第三列倒序排序

[liuzhoujian@hadoop102 learnshell]$ sort -t : -nrk3 sort.txt 
    bb:40:5.4
    bd:20:4.2
    s:10:3.5
    cls:10:3.5
    xz:50:2.3
    ss:30:1.6

补充真题：

问题：有文件add.txt内容如下:
    张三 40
    李四 50
    王五 60
    
    使用Linux命令计算第二列的和并输出?
    [liuzhoujian@hadoop102 learnshell]$ cat add.txt | awk -F " " '{sum+=$2} END{print sum}' 
    150

问题：请用shell脚本写出查找当前文件夹下所有的文本文件内容中包含有字符”wo”的文件名称
    
    [liuzhoujian@hadoop102 learnshell]$ grep -r "wo" /opt/learnshell/    
    /opt/learnshell/data.txt:wo wo 
    /opt/learnshell/helloworld.sh:echo "helloworld"
    [liuzhoujian@hadoop102 learnshell]$ grep -r "wo" /opt/learnshell/  | cut -d ":" -f 1
    /opt/learnshell/data.txt
    /opt/learnshell/helloworld.sh

[201909011916233.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/0a6942fa4f574cd1b4622becd0356c59.png
[20190901192207531.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/cfbb6fbaa358429cac326253cb1785c0.png
[20190901202021558.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/15ecc352daf04bc89219607b149e4e75.png
[20190901203526529.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/9cc908f5a9ad49deae43e8864ca42110.png
[20190901203706452.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/d2c50393b0ae4b5db7463e2080000eee.png
[20190901203826571.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/d3c1d959890b4068a8db21eac5fba758.png
[20190901205950864.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/565763cfc268427ab6cd93503322f0dd.png