Shell自动化编程基本知识点

桃扇骨 2023-01-23 13:48 191阅读 0赞

参考网上的教程，学习总结Shell自动化编程基本知识点。本文以命令行操作的形式进行展现

# 1、Shell脚本入门 #

## （1）脚本格式 ##

脚本以\#!/bin/bash开头（指定解析器）

## （2）第一个shell脚本:helloworld ##

yasin@ubuntu:~/test$ touch helloword.sh
    yasin@ubuntu:~/test$ vim helloword.sh 
    yasin@ubuntu:~/test$ cat helloword.sh 
    #!/bin/bash
    echo "helloword"
    yasin@ubuntu:~/test$ bash helloword.sh 
    helloword
    yasin@ubuntu:~/test$ sh helloword.sh 
    helloword

## （3）多命令处理 ##

在当前目录的/data（已创建）下创建banzhang.txt，并在文件中增加“l love cls”

yasin@ubuntu:~/test$ touch batch.sh
    yasin@ubuntu:~/test$ vim batch.sh
    yasin@ubuntu:~/test$ cat batch.sh 
    #!/bin/bash
    cd ./data
    touch banzhang.txt
    echo "l love cls" >> banzhang.txt
    yasin@ubuntu:~/test$ bash batch.sh 
    yasin@ubuntu:~/test$ cd data/
    yasin@ubuntu:~/test/data$ ls
    banzhang.txt
    yasin@ubuntu:~/test/data$ cat banzhang.txt 
    l love cls

# 2、Shell中的变量 #

## （1）常用系统变量 ##

$HOME、$PWD、$SHELL、$USER

yasin@ubuntu:~/test/data$ echo $HOME
    /home/yasin
    yasin@ubuntu:~/test/data$ echo $PWD
    /home/yasin/test/data
    yasin@ubuntu:~/test/data$ echo $SHELL
    /bin/bash
    yasin@ubuntu:~/test/data$ echo $USER
    yasin

## （2） 自定义变量 ##

① 变量=值  
② 撤销变量：unset 变量  
③ 声明静态变量:readonly 变量，不能unset

yasin@ubuntu:~/test/data$ A=2
    yasin@ubuntu:~/test/data$ echo $A
    2
    yasin@ubuntu:~/test/data$ unset A
    yasin@ubuntu:~/test/data$ echo $A

变量定义规则：  
① 变量名称可以由字母、数字和下划线组成,但是不能以数字开头,环境变量名建议大写  
② 等号两侧不能有空格  
③ 在bash中,变量默认类型都是字符串类型,无法直接进行数值运算  
④ 变量的值如果有空格,需要使用双引号或单引号括起来

此外，可把变量提升为全局环境变量，可供其他Shell程序使用

yasin@ubuntu:~/test/data$ B=2
    yasin@ubuntu:~/test/data$ vim helloword.sh 
    yasin@ubuntu:~/test/data$ cat helloword.sh 
    #!/bin/bash
    echo "helloword"
    echo $B
    yasin@ubuntu:~/test/data$ bash helloword.sh 
    helloword
    (此处没有输出B的值)
    yasin@ubuntu:~/test/data$ export B
    yasin@ubuntu:~/test/data$ bash helloword.sh 
    helloword
    2
    yasin@ubuntu:~/test/data$

## （3）特殊变量：$n ##

$n(功能描述:n为数字,$0代表该脚本名称, $1 - $9 代表第一到第九个参数,十以上的参数,十以上的参数需要用大括号包含,如$\{10\})

yasin@ubuntu:~/test/data$ touch parameter.sh
    yasin@ubuntu:~/test/data$ vim parameter.sh 
    yasin@ubuntu:~/test/data$ cat parameter.sh 
    #!/bin/bash
    echo "$0 $1 $2"
    yasin@ubuntu:~/test/data$ chmod 777 parameter.sh 
    yasin@ubuntu:~/test/data$ bash parameter.sh 
    parameter.sh  
    yasin@ubuntu:~/test/data$ bash parameter.sh zhang
    parameter.sh zhang 
    yasin@ubuntu:~/test/data$ bash parameter.sh zhang love cls
    parameter.sh zhang love

## （4）特殊变量：$\# ##

获取所有输入参数个数，常用于循环

yasin@ubuntu:~/test/data$ vim parameter.sh 
    yasin@ubuntu:~/test/data$ cat parameter.sh 
    #!/bin/bash
    echo "$0 $1 $2"
    echo $#
    yasin@ubuntu:~/test/data$ ./parameter.sh  cls xz
    ./parameter.sh cls xz
    2

## （5）特殊变量：$\*、$@ ##

$\*(功能描述:这个变量代表命令行中所有的参数,$\*把所有的参数看成一个整体  
$@(功能描述:这个变量也代表命令行中所有的参数,不过$@把每个参数区分对待)

yasin@ubuntu:~/test/data$ vim parameter.sh 
    yasin@ubuntu:~/test/data$ cat parameter.sh 
    #!/bin/bash
    echo "$0 $1 $2"
    echo $#
    echo $*
    echo $@
    yasin@ubuntu:~/test/data$ bash parameter.sh banzhang love mm
    parameter.sh banzhang love
    3
    banzhang love mm
    banzhang love mm

## （6）特殊变量：$? ##

$?(功能描述:最后一次执行的命令的返回状态。如果这个变量的值为0,证明上个命令正确执行:如果这个变量的值为非0(具体是哪个数,由命令自己来决定),则证明上一个命令执行不正确了。)

yasin@ubuntu:~/test/data$ cat helloword.sh 
    #!/bin/bash
    echo "helloword"
    yasin@ubuntu:~/test/data$ bash helloword.sh 
    helloword
    yasin@ubuntu:~/test/data$ echo $?
    0
    yasin@ubuntu:~/test/data$ bash hell
    bash: hell: No such file or directory
    yasin@ubuntu:~/test/data$ echo $?
    127

# 3、运算符 #

(1) “$(运算式)”或“$\[运算式\]”  
(2) expr +, -, \\\*, / ,% 加,减,乘,除,取余  
注意expr运算符间要有空格

yasin@ubuntu:~/test/data$ expr 2 + 3
    5
    yasin@ubuntu:~/test/data$ expr 3 - 2
    1
    yasin@ubuntu:~/test/data$ expr `expr 2 + 3` \* 4
    20
    yasin@ubuntu:~/test/data$ s=$[(2+3)*4]
    yasin@ubuntu:~/test/data$ echo $s
    20

# 4、条件判断 #

## （1）基本语法 ##

\[ condition\](注意 condition前后要有空格)  
注意:条件非空即为true, \[yasin\] 返回true, \[\]返回 false.

## （2）常用判断条件 ##

① 两个整数之间比较  
=字符串比较。  
lt小于( less than) le小于等于( less equal)  
\-eq等于( equal) gt大于( greater than)  
ge大于等于( greater equal) -ne不等于( Not equal)

② 按照文件权限进行判断  
\-有读的权限(read) W有写的权限( wrIte)  
\-x 有执行的权限(excute)

③ 按照文件类型进行判断  
\-f文件存在并且是一个常规的文件(file)  
\-e文件存在( existence)  
d文件存在并是一个目录( directory)

yasin@ubuntu:~/test/data$ [ 23 -ge 22 ]
    yasin@ubuntu:~/test/data$ echo $?
    0
    yasin@ubuntu:~/test/data$ [ 23 -le 22 ]
    yasin@ubuntu:~/test/data$ echo $?
    1
    yasin@ubuntu:~/test/data$ [ -w helloword.sh ]
    yasin@ubuntu:~/test/data$ echo $?
    0
    yasin@ubuntu:~/test/data$ [ -e helloword.sh ]
    yasin@ubuntu:~/test/data$ echo $?
    0

④ 多条件判断（&&表示前一条命令执行成功时，才执行后一条命令，||表示上一条命令执行失败后，才执行下一条命令）

# 5、流程控制 #

## （1）if判断 ##

**语法：**

if [ 条件判断式 ]; then
    	程序
    fi
    或者
    
    if [ 条件判断式 ]
    	then
    		程序
    fi

**注意事项：**  
(1) \[ 条件判断式 \],中括号和条件判断式之间必须有空格  
(2) if后要有空格

yasin@ubuntu:~/test/data$ cat if_test.sh 
    if [ $1 -eq 1 ]
    then
            echo "wo zhen shuai"
    elif [ $1 -eq 2 ]
    then
            echo "cls zhen zun"
    fi
    yasin@ubuntu:~/test/data$ bash if_test.sh 1
    wo zhen shuai
    yasin@ubuntu:~/test/data$ bash if_test.sh 2
    cls zhen zun

## （2）case语句 ##

**语法：**

case $变量名 in
    	"值1")
    		如果变量的值等于值1,则执行程序1
    		;;
    	"值2")
    		如果变量的值等于值2,则执行程序2
    		;;
    	...省略其他分支...
    	*）
    	如果变量的值都不是以上的值，则执行此程序
    	;;
    easc

**注意事项：**  
① case 行尾必须为单词"in"，每一个模式匹配必须以右括号")“结束  
② 双分号”;;“表示命令序列结束，相当于java的break  
③ 最后的”\*)"表示默认模式，相当于java中的default

yasin@ubuntu:~/test/data$ cat case.sh 
    #!/bin/bash
    case $1 in
    1)
            echo "bangzhang"
    ;;
    2)
            echo "cls"
    ;;
    *)
            echo "renyao"
    ;;
    esac
    yasin@ubuntu:~/test/data$ bash case.sh 
    renyao
    yasin@ubuntu:~/test/data$ bash case.sh 1
    bangzhang
    yasin@ubuntu:~/test/data$ bash case.sh 2
    cls

## （3）for 循环 ##

**语法1：**

for(( 初始值; 循环条件;变量变化 ))
    	do
    		程序
    	done

yasin@ubuntu:~/test/data$ cat for1.sh 
    #!/bin/bash
    s=0
    for((i=1;i<=100;i++))
    do
            s=$[$s + $i]
    done
    echo $s
    yasin@ubuntu:~/test/data$ bash for1.sh 
    5050

**语法2：**

for 变量 in 值1 值2 值3...
    	do
    		程序
    	done

注意下面两个循环的区别： 一个有双引号，输出作为整体，一个没有双引号，分别输出

yasin@ubuntu:~/test/data$ cat for2.sh 
    #!/bin/bash
    for i in "$*"
    do 
            echo "bangzhang xihuan $i"
    done
    
    for j in $@
    do
            echo "bangzhang xihuan $j"
    done
    yasin@ubuntu:~/test/data$ bash for2.sh mm
    bangzhang xihuan mm
    bangzhang xihuan mm
    yasin@ubuntu:~/test/data$ bash for2.sh mm lihua
    bangzhang xihuan mm lihua
    bangzhang xihuan mm
    bangzhang xihuan lihua

## （4）while循环 ##

**语法：**

while[ 条件判断式 ]
    	do
    		程序
    	done

yasin@ubuntu:~/test/data$ cat while_test.sh 
    #!/bin/bash
    s=0
    i=1
    while [ $i -le 100 ]
    do 
            s=$[$s + $i]
            i=$[$i + 1]
    done
    
    echo $s
    yasin@ubuntu:~/test/data$ bash while_test.sh 
    5050

# 6、read读取控制台输入 #

read(选项)(参数)  
选项:  
\-p：指定读取值时的提示符:  
\-t：指定读取值时等待的时间(秒)。  
参数  
变量:指定读取值的变量名

yasin@ubuntu:~/test/data$ cat read_test.sh 
    #!/bin/bash
    read -t 7 -p "Enter your name in 7 seconds: " NAME
    echo $NAME
    yasin@ubuntu:~/test/data$ bash read_test.sh 
    Enter your name in 7 seconds: yasin
    yasin

# 7、函数 #

## （1）系统函数 ##

① basename \[string/pathname\] \[suffix\]  
(功能描述: basename命令会删掉所有的前缀包括最后一个(/)字符,然后将字符串显示出来。  
选项:  
suffix为后缀,如果 suffix被指定了, basename会将 pathname或 string中的 suffix去掉。

截取该/home/yasin/test/chengji.txt路径的文件名称

yasin@ubuntu:~/test$ basename /home/yasin/test/chengji.txt 
    chengji.txt
    yasin@ubuntu:~/test$ basename /home/yasin/test/chengji.txt .txt
    chengji
    yasin@ubuntu:~/test$ basename /home/yasin/test/chengji.txt ji.txt
    cheng

② dirname  
dirname文件绝对路径(功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录的部分),然后返回剩下的路径(目录的部分))

yasin@ubuntu:~/test$ dirname /home/yasin/test/chengji.txt
    /home/yasin/test

## （2）自定义函数 ##

**基本语法：**

[function] funname[()]
    { 
    	Action;
    	[return int]
    }
    funname

**经验技巧**  
① 必须在调用函数地方之前,先声明函数, shell脚本是逐行运行。不会像其它语言一样先编译  
② 函数返回值,只能通过$?系统变量获得,可以显示加: return返回,如果不加,将以最后一条命令运行结果,作为返回值。return后跟数值n(0-255）

yasin@ubuntu:~/test/data$ cat sum.sh 
    #!/bin/bash
    function sum()
    { 
            s=0;
            s=$[$1+$2]
            echo $s
    }
    read -p "input your number1:" P1
    read -p "inpput your number2:" P2
    sum $P1 $P2
    yasin@ubuntu:~/test/data$ bash sum.sh 
    input your number1:23
    input your number2:12
    35

# 8、Shell工具 #

## （1）cut ##

cut的工作就是“剪”,具体的说就是在文件中负责剪切数据用的。cut命令从文件的每行剪切字节、字符和字段并将这些字节、字符和字段输出  
① 基本用法  
cut\[选项参数\] filename  
说明:默认分隔符是制表符  
② 选项参数说明

<table> 
 <thead> 
  <tr> 
   <th>选项参数</th> 
   <th>功能</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-f</td> 
   <td>列号，提取第几列</td> 
  </tr> 
  <tr> 
   <td>-d</td> 
   <td>分隔符，按照指定分隔符分割列</td> 
  </tr> 
 </tbody> 
</table>

切割cut.txt的第一列

yasin@ubuntu:~/test/data$ cat cut.txt 
    shen zhen
    guan  zhen
    wo wo
    lai  lai
    le le
    yasin@ubuntu:~/test/data$ cut -d " " -f 1 cut.txt 
    shen
    guan
    wo
    lai
    le

切割cut.txt的第2,3列

yasin@ubuntu:~/test/data$ cut -d " " -f 2,3 cut.txt 
    zhen
     zhen
    wo
     lai
    le

在cut.txt中切割出guan

yasin@ubuntu:~/test/data$ cat cut.txt |grep guan|cut -d " " -f 1
    guan

选取系统PATH变量值，第2“：”开始后的所有路径

yasin@ubuntu:~/test/data$ echo $PATH
    /home/yasin/bin:/home/yasin/.local/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin
    yasin@ubuntu:~/test/data$ echo $PATH |cut -d : -f 3-
    /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin

## （2）sed ##

sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”,接着用sed命令处理缓冲区中的內容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。

① 基本用法  
sed \[选项参数\] ‘command’ filename

② 选项参数说明

<table> 
 <thead> 
  <tr> 
   <th>选项参数</th> 
   <th>功能</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-e</td> 
   <td>直接在指令列模式上进行sed的动作编辑</td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>功能</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>a</td> 
   <td>新增，a的后面可以接字符串，在下一行出现</td> 
  </tr> 
  <tr> 
   <td>d</td> 
   <td>删除</td> 
  </tr> 
  <tr> 
   <td>s</td> 
   <td>查找并替换</td> 
  </tr> 
 </tbody> 
</table>

将“good boy”插入到sed.txt的第二行，打印

yasin@ubuntu:~/test/data$ cat sed.txt 
    shen zhen
    guan  zhen
    wo wo
    lai  lai
    
    le le
    yasin@ubuntu:~/test/data$ sed "2a good boy" sed.txt 
    shen zhen
    guan  zhen
    good boy
    wo wo
    lai  lai
    
    le le

删除sed.txt中有 wo的hang

yasin@ubuntu:~/test/data$ sed "/wo/d" sed.txt 
    shen zhen
    guan  zhen
    lai  lai
    
    le le

将sed.txt 文件中wo替换成ni

yasin@ubuntu:~/test/data$ sed "s/wo/ni/g" sed.txt 
    shen zhen
    guan  zhen
    ni ni
    lai  lai
    
    le le

将sed.txt文件中的第2行删除并将wo替换成ni

yasin@ubuntu:~/test/data$ sed -e "2d" -e "s/wo/ni/g" sed.txt 
    shen zhen
    ni ni
    lai  lai
    
    le le

## （3）awk ##

一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理

① 基本用法  
awk \[选项参数\] ‘patten\{ actionl\} patten2 action2\}…’ filename  
pattern：表示AWK在数据中查找的内容,就是匹配模式  
action：在找到匹配内容时所执行的一系列命令  
② 参数说明

<table> 
 <thead> 
  <tr> 
   <th>选项参数</th> 
   <th>功能</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-F</td> 
   <td>指定输入文件拆分隔符</td> 
  </tr> 
  <tr> 
   <td>-v</td> 
   <td>赋值一个用户定义变量</td> 
  </tr> 
 </tbody> 
</table>

搜索passwd文件中以root为关键字开头的所有行，并输出改行的第7列

yasin@ubuntu:~/test/data$ awk -F : '/^root/{print $7}' passwd 
    /bin/bash

搜索 passwd文件以root关键字开头的所有行,并输出该行的第1列和第7列,中间以“,”号分割

yasin@ubuntu:~/test/data$ awk -F : '/^root/{print $1, $7}' passwd 
    root /bin/bash

只显示 etc/passwd的第一列和第七列,以逗号分制,且在所有行前面添加列名user，shell在最后一行添加" yasin, bin/zuishuai"

yasin@ubuntu:~/test/data$ awk -F : 'BEGIN{print "user,shell"} {print $1","$7} END{print "yasin, bin/zuishuai"}' passwd 
    user,shell
    root,/bin/bash
    daemon,/usr/sbin/nologin
    bin,/usr/sbin/nologin
    sys,/usr/sbin/nologin
    sync,/bin/sync
    games,/usr/sbin/nologin
    man,/usr/sbin/nologin
    lp,/usr/sbin/nologin
    mail,/usr/sbin/nologin
    ......

将passwd文件中的用户id增加数值1并输出

yasin@ubuntu:~/test/data$ awk -F : -v i=1 '{print $3+i}' passwd 
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    14
    34
    35
    39
    40
    42
    65535
    ......

③ awk 内置变量

<table> 
 <thead> 
  <tr> 
   <th>变量</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>FILENAME</td> 
   <td>文件名</td> 
  </tr> 
  <tr> 
   <td>NR</td> 
   <td>已读的记录数</td> 
  </tr> 
  <tr> 
   <td>NF</td> 
   <td>浏览记录的域的个数（切割后，列的个数）</td> 
  </tr> 
 </tbody> 
</table>

统计passwd文件名，每行的行号，每行的列数

yasin@ubuntu:~/test/data$ awk -F: '{print FILENAME","NR","NF }' passwd 
    passwd,1,7
    passwd,2,7
    passwd,3,7
    passwd,4,7
    passwd,5,7
    passwd,6,7
    passwd,7,7
    passwd,8,7
    passwd,9,7
    passwd,10,7
    passwd,11,7
    passwd,12,7

查询sed.txt中空行所在的行号

yasin@ubuntu:~/test/data$ awk '/^$/ {print NR}' sed.txt
    5

## （4）sort ##

sort 命令是在Linux中非常有用，它将文件进行排序，并将排序结果标准输出  
① 基本语法  
sort(选项)(参数)

<table> 
 <thead> 
  <tr> 
   <th>选项</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-n</td> 
   <td>依照数值大小排序</td> 
  </tr> 
  <tr> 
   <td>-r</td> 
   <td>以相反的顺序来排序</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>设置排序时所用的分隔字符</td> 
  </tr> 
  <tr> 
   <td>-k</td> 
   <td>指定需要排序的列</td> 
  </tr> 
 </tbody> 
</table>

参数：指定排序的文件列表

按照“：”分割后的第三列倒序排序

yasin@ubuntu:~/test/data$ cat sort.txt 
    bb:40:5.4
    bd:20:4.2
    xz:50:2.3
    cls:10:3.5
    ss:30:1.6
    yasin@ubuntu:~/test/data$ sort -t : -nrk 3 sort.txt 
    bb:40:5.4
    bd:20:4.2
    cls:10:3.5
    xz:50:2.3
    ss:30:1.6