expect-正则表达式-sed-cut的使用

心已赠人 2022-02-04 11:11 219阅读 0赞

*  expect 实现无交互登录
 *  正则表达式
 *  sed流编辑器
 *  cut命令

# 一、expect实现无交互登录 #

使用场景：  
如果想写一个能够自动处理输入输出的脚本，那么expect是最好的选择，它可以用来做一些Linux下无法做到的交互命令操作  
1、安装和使用expect

> \[root@xuegod110 ~\]\# which expect  
> /usr/bin/which: no expect in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)  
> \[root@xuegod110 ~\]\# yum -y install expect  
> \[root@xuegod110 ~\]\# which expect  
> /usr/bin/expect  
> \[root@xuegod110 ~\]\# rpm -qf /usr/bin/expect  
> expect-5.45-14.el7\_1.x86\_64

2、expect说明  
1）定义脚本执行的shell  
\#!/usr/bin/expect  
这里定义的是expect可执行文件的路径，功能类似于bash等shell功能  
2）set timeout 30  
设置超时时间，单位是秒，如果设置为timeout -1表示用不超时  
3）spawn  
spawn是进入expect环境后才能执行的内部命令，如果没有安装expect或者直接在默认的shell下执行的找不到spawn命令的。主要功能是给ssh运行进程加个壳，用来传递交互指令  
4）expect  
主要功能是用来判断输出结果是否包含某项字符串，没有则立即返回，否则就等待一段时间后返回，等待时间通过timeout设置  
5）send  
执行交互动作，将交互要执行的动作进行输入给交互指令  
命令字符串结尾要加上“\\r”，如果出现异常等待的状态可以进行检查。\\r表示回车的意思  
6）exp\_continue  
继续执行接下来的交互操作  
7）interact  
执行完后保持交互状态，把控制权交给控制台；如果不加这一项，交互完后自动退出  
8）$argv  
expect脚本可以接受从base传递过来的参数，可以使用\[lindex $argv n\]获取，n从0开始，分别表示第一个、第二个、第三个……参数

例1：免密码通过ssh登录服务，这里不是用密钥登录

> \[root@xuegod110 ~\]\# cat ssh.exp  
> \#!/usr/bin/expect  
> \#这里写的expect脚本，所以shell定义使用expect可以执行命令的路径  
> \#定义变量  
> set Ipaddr “192.168.0.111”  
> set Name “root”  
> \#设置登录用户  
> set passwd “123456”  
> \#设置登录密码  
> set timeout 30  
> \#设置超时时间  
> spawn ssh  N a m e @ Name@ Name@Ipaddr  
> \#通过spawn命令执行ssh登录命令  
> expect \{  
> \#通过expect交互命令，输入相关信息  
> “yes/no” \{ send “yes\\r”;exp\_continue \}  
> “passwd” \{ send “KaTeX parse error: Can't use function '\\r' in math mode at position 7: passwd\\̲r̲" \} \} \#这里expect…passwd\\r”  
> expect “\#”  
> \#匹配到\#表示已经登录成功  
> send “touch /mnt/a.txt\\r”  
> \#创建一个a.txt的文件，回车  
> expect eof  
> \#退出脚本  
> \[root@xuegod110 ~\]\# expect ssh.exp  
> spawn ssh [root@192.168.0.111][root_192.168.0.111]  
> [root@192.168.0.111][root_192.168.0.111]’s password:  
> Last login: Mon May 6 15:50:07 2019 from 192.168.0.107  
> \[root@xuegod110 ~\]\# touch /mnt/a.txt  
> \[root@xuegod110 ~\]\# ll /mnt/a.txt  
> \-rw-r–r-- 1 root root 0 5月 6 15:56 /mnt/a.txt

例2：批量管理服务器

> \[root@xuegod110 ~\]\# cat ip\_pass.txt \#将IP地址和密码写入文件  
> 192.168.0.11 123456  
> \[root@xuegod110 ~\]\# cat ssh2.exp \#编写exp面交互文件  
> \#!/usr/bin/expect  
> set ipaddr \[lindex $argv 0\] \#设置变量，通过shell将变量给exp脚本  
> set passwd \[lindex KaTeX parse error: Expected 'EOF', got '\#' at position 11: argv 1\] \#̲设置变量，通过shell将变量…ipaddr  
> expect “yes/no”  
> send “yes\\r”  
> expect “password”  
> send “$passwd\\r”  
> expect “\#”  
> send “touch /root/xuegod1011.txt\\r”  
> send “ls /etc > /root/xuegod1011.txt\\r”  
> send “mkdir /tmp/xuegod1011\\r”  
> send “exit\\r”  
> send eof  
> \[root@xuegod110 ~\]\# cat [login.sh][] \#使用shell脚本调用变量  
> \#!/bin/bash  
> for ip in $(awk ‘\{print $1\}’ /root/ip\_pass.txt) \#调用IP的变量  
> do  
> pass=\`grep $ip /root/ip\_pass.txt\`|awk ‘\{print $2\}’ \#调用对应IP的对应密码变量  
> expect /root/ssh.exp $ip $pass  
> done

二、正则表达式的使用  
正则表达式，又称规则表达式。  
正则表达式不只有一种，而且Linux中不同的程序可能会使用不同的表达式  
工具：grep sed awk  
Linux中常用的两种正则表达式引擎  
基础正则表达式：BRE  
扩展正则表达式：ERE  
1、基础正则表达式  
特别字符 描述  
$ 匹配输入字符串的结尾位置。要匹配$本身，需要使用转义符$  
() 标记一个子表达式的开始和结束位置。要匹配这些字符，请使用 ( 和 )

*  匹配前面的子表达式零次或多次。要匹配\*字符，请使用\*

*  匹配前面的子表达式一次或多次。要匹配+字符，请使用+  
    . 匹配出换行符\\n之外的任何单字符。要匹配.字符，请使用.  
    \[ 标记一个中括号表达式的开始。要匹配\[，请使用\[  
    ? 匹配前面的子表达式零次或一次。或指明一个非贪婪限定符。使用?转义  
    \\ 将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。  
    ^ 匹配输入字符串的开始位置，除非在方括号表达式中使用，此时它表示不接受该字符。要匹配^字符本身，请使用^  
    \{ 标记限定符表达式的开始。要匹配\{，请使用\{  
    | 指定两项之间的一个选择。要匹配|，请使用|  
    定位符  
    ^ 匹配输入字符串开始的位置  
    $ 匹配输入字符串结尾的位置  
    非打印字符  
    \\n 匹配一个换行符  
    \\r 匹配一个回车符  
    \\t 匹配一个制表符

正则表达式符号代表含义的网址：  
[http://man.linuxde.net/docs/shell\_regex.html][http_man.linuxde.net_docs_shell_regex.html]

例子：统计/etc/ssh/sshd\_config文件中除去空行和\#号开头的行的行数

> \[root@xuegod110 ~\]\# grep -v “\#|KaTeX parse error: Expected 'EOF', got '\#' at position 33: …onfig | wc –l \#̲使用转义符 16 \[root@…” /etc/ssh/sshd\_config | wc –l \#-E扩展正则表达式  
> 16  
> \[root@xuegod110 ~\]\# egrep -v “\#|$” /etc/ssh/sshd\_config | wc –l \#扩展正则表达式  
> 16

例2：点字符

> \[root@xuegod110 ~\]\# grep .ot /etc/passwd \#.表示处\\n换行符外的任意字符  
> root❌0:0:root:/root:/bin/bash  
> operator❌11:0:operator:/root:/sbin/nologin  
> setroubleshoot❌995:992::/var/lib/setroubleshoot:/sbin/nologin

三、sed流编辑器  
sed编辑器是一行一行的处理文件的内容。处理完成后的内容按照选项的规定进行输出或文件的修改，接着处理下一行，这样不断重复，知道文件末尾。  
sed支持正则表达式，如果需要使用加上-r参数  
语法格式：  
sed \[options\] ‘\[commands\]’ filename  
例1：

> \[root@xuegod110 ~\]\# echo “This is apple” | sed ‘s/apple/dog/’  
> This is dog  
> \[root@xuegod110 ~\]\# sed ‘s/apple/dog/’ a.txt  
> This is dog  
> \[root@xuegod110 ~\]\# cat a.txt \#文件并没有修改  
> This is apple

sed的选项和参数：  
I 在当前行插入文件  
c 把选定的内容改为新的指定的文本  
p 打印选定或查找的内容  
d 删除选定或查找的内容  
r/R 读取文件/一行  
w 将查找的内容另存一个新的文件  
s 查找  
y 替换  
h 拷贝模板库的内容到内存中的缓冲区  
H 追加木版块的内容到内存中的缓冲区  
g 扩区内存缓冲区的内容，并替代当前模板块中的文本  
G 获取内存缓冲区的内容，并追加到当前模板块文本的后面  
D 删除\\n之前的内容  
P 打印\\n之前的内容

替换标记：  
数字：表明新文本将替换第几处模式匹配的地方  
g ：表示新文本将会替换所有匹配的文件  
\\1 ：子串匹配标记，前面搜索可以用元字符集(…)  
& ：保留搜索到的字符用来替换其它字符

匹配字符集：  
^ ：匹配行开始，如/^sed匹配所有以sed开头的行  
$ ：匹配行结束，如/sed$匹配所有以sed结尾的行  
. ：匹配一个非换行符的任意字符，如：/s.d/匹配s后接任意一个字符，最后是d，比如sad、abd、scd、s\*d等等

*  ：匹配0个或多个字符，如：/\*.sed/匹配所有模板是一个或多个空格后紧跟sed的行

例1：只替换第一个匹配到的字符，将passwd中的root用户替换成xuegod

> \[root@xuegod110 opt\]\# head /etc/passwd > /opt/mima  
> \[root@xuegod110 opt\]\# cat mima \#先截取passwd里面的一些内容进行演示  
> root:\\x:0:0:root:/root:/bin/bash  
> bin:\\x:1:1:bin:/bin:/sbin/nologin  
> daemon:\\x:2:2:daemon:/sbin:/sbin/nologin  
> adm:\\x:3:4:adm:/var/adm:/sbin/nologin  
> lp:\\x:4:7:lp:/var/spool/lpd:/sbin/nologin  
> sync:\\x:5:0:sync:/sbin:/bin/sync  
> shutdown:\\x:6:0:shutdown:/sbin:/sbin/shutdown  
> halt:\\x:7:0:halt:/sbin:/sbin/halt  
> mail:\\x:8:12:mail:/var/spool/mail:/sbin/nologin  
> operator:\\x:11:0:operator:/root:/sbin/nologin  
> \[root@xuegod110 opt\]\# sed -n ‘s/root/xuegod/p’ mima \#-n和p组合使用，显示批到的内容行  
> xuegod:\\x:0:0:root:/root:/bin/bash  
> operator:\\x:11:0:operator:/xuegod:/sbin/nologin

例2：全局替换标记g

> \[root@xuegod110 opt\]\# sed -n ‘s/root/xuegod/gp’ mima  
> xuegod:\\x:0:0:xuegod:/xuegod:/bin/bash  
> operator:\\x:11:0:operator:/xuegod:/sbin/nologin

例3：将sed中默认的/定界符改为\#号

> \[root@xuegod110 opt\]\# sed -n ‘s\#/sbin/nologin\#/bin/bash/\#gp’ mima  
> bin:\\x:1:1:bin:/bin:/bin/bash/  
> daemon:\\x:2:2:daemon:/sbin:/bin/bash/  
> adm:\\x:3:4:adm:/var/adm:/bin/bash/  
> lp:\\x:4:7:lp:/var/spool/lpd:/bin/bash/  
> mail:\\x:8:12:mail:/var/spool/mail:/bin/bash/  
> operator:\\x:11:0:operator:/root:/bin/bash/

例4：如果不想更换定界符，那么就需要转义

> \[root@xuegod110 opt\]\# sed -n ‘s//sbin/nologin//bin/bash/gp’ mima  
> bin:\\x:1:1:bin:/bin:/bin/bash  
> daemon:\\x:2:2:daemon:/sbin:/bin/bash  
> adm:\\x:3:4:adm:/var/adm:/bin/bash  
> lp:\\x:4:7:lp:/var/spool/lpd:/bin/bash  
> mail:\\x:8:12:mail:/var/spool/mail:/bin/bash  
> operator:\\x:11:0:operator:/root:/bin/bash

例5：按行查找替换  
写法如下：用数字表示行范围，$表示行尾  
用文本模式匹配来过滤

单行替换，将第二行中bin替换成xuegod

> \[root@xuegod110 opt\]\# sed -n ‘2s/bin/xuegod/p’ mima  
> xuegod:\\x:1:1:bin:/bin:/sbin/nologin  
> \[root@xuegod110 opt\]\# sed -n ‘2s/bin/xuegod/gp’ mima  
> xuegod:\\x:1:1:xuegod:/xuegod:/sxuegod/nologin

多行替换，如果涉及到多行替换，用逗号隔开  
将第三行到行尾中的bin替换成xuegod

> \[root@xuegod110 opt\]\# sed -n ‘3,$s/bin/xuegod/p’ mima  
> daemon:\\x:2:2:daemon:/sxuegod:/sbin/nologin  
> adm:\\x:3:4:adm:/var/adm:/sxuegod/nologin  
> lp:\\x:4:7:lp:/var/spool/lpd:/sxuegod/nologin  
> sync:\\x:5:0:sync:/sxuegod:/bin/sync  
> shutdown:\\x:6:0:shutdown:/sxuegod:/sbin/shutdown  
> halt:\\x:7:0:halt:/sxuegod:/sbin/halt  
> mail:\\x:8:12:mail:/var/spool/mail:/sxuegod/nologin  
> operator:\\x:11:0:operator:/root:/sxuegod/nologin

例6：删除功能  
删除第2行到第4行的内容

> \[root@xuegod110 opt\]\# sed ‘2,4d’ mima  
> root❌0:0:root:/root:/bin/bash  
> lp❌4:7:lp:/var/spool/lpd:/sbin/nologin  
> sync❌5:0:sync:/sbin:/bin/sync  
> shutdown❌6:0:shutdown:/sbin:/sbin/shutdown  
> halt❌7:0:halt:/sbin:/sbin/halt  
> mail❌8:12:mail:/var/spool/mail:/sbin/nologin  
> operator❌11:0:operator:/root:/sbin/nologin

删除匹配到的内容行

> \[root@xuegod110 opt\]\# sed ‘/halt/d’ mima  
> root❌0:0:root:/root:/bin/bash  
> bin❌1:1:bin:/bin:/sbin/nologin  
> daemon❌2:2:daemon:/sbin:/sbin/nologin  
> adm❌3:4:adm:/var/adm:/sbin/nologin  
> lp❌4:7:lp:/var/spool/lpd:/sbin/nologin  
> sync❌5:0:sync:/sbin:/bin/sync  
> shutdown❌6:0:shutdown:/sbin:/sbin/shutdown  
> mail❌8:12:mail:/var/spool/mail:/sbin/nologin  
> operator❌11:0:operator:/root:/sbin/nologin

例7：添加功能使用  
i ：在当前行前面插入一行  
a：在当前行后面插入一行  
当前行前面插入：

> \[root@xuegod110 opt\]\# cat a.txt  
> 112  
> 321  
> 434  
> 545  
> \[root@xuegod110 opt\]\# sed ‘i\\xuegod’ a.txt  
> xuegod  
> 112  
> xuegod  
> 321  
> xuegod  
> 434  
> xuegod  
> 545  
> xuegod

在当前行行后面插入一行

> \[root@xuegod110 opt\]\# sed ‘a\\xuegod’ a.txt  
> 112  
> xuegod  
> 321  
> xuegod  
> 434  
> xuegod  
> 545  
> xuegod

在行尾插入一行内容

> \[root@xuegod110 opt\]\# sed ‘$a\\66666666’ a.txt  
> 112  
> 321  
> 434  
> 545

66666666

文本中第2行插入一行内容

> \[root@xuegod110 opt\]\# sed ‘2a\\xuegod’ a.txt  
> 112  
> 321  
> xuegod  
> 434  
> 545

在2-4行之后，分别追加内容

> \[root@xuegod110 opt\]\# sed ‘2,4a\\xuegod’ a.txt  
> 112  
> 321  
> xuegod  
> 434  
> xuegod  
> 545  
> xuegod

例8：修改功能，c参数，直接修改匹配到内容的一行  
将第2行，修改为xuegod

> \[root@xuegod110 opt\]\# sed ‘2c\\xuegod’ a.txt  
> 112  
> xuegod  
> 434  
> 545  
> 将2-4行修改为xuegod  
> \[root@xuegod110 opt\]\# sed ‘2,4c\\xuegod’ a.txt \#2-4行，删除2-4行内容，添加xuegod  
> 112  
> xuegod  
> \[root@xuegod110 opt\]\# sed ‘2,$c\\xuegod’ a.txt \#2到最后一行  
> 112  
> xuegod

修改hosts文件，将第2行到最后修改为192.168.1.111 xuegod111

> \[root@xuegod110 opt\]\# cat /etc/hosts  
> 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4  
> ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6  
> 192.168.0.111 xuegod110  
> \[root@xuegod110 opt\]\# sed ‘2,$c\\192.168.1.111 xuegod111’ /etc/hosts  
> 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4  
> 192.168.1.111 xuegod111

例9：打印、直接输入文件中的内容  
输出第2行内容

> \[root@xuegod110 opt\]\# sed -n ‘2p’ mima  
> bin❌1:1:bin:/bin:/sbin/nologin

例10：将修改或匹配的内容另存到另外一个文件

> \[root@xuegod110 opt\]\# sed -n ‘/root/w c.txt’ mima  
> \[root@xuegod110 opt\]\# cat c.txt  
> root❌0:0:root:/root:/bin/bash  
> operator❌11:0:operator:/root:/sbin/nologin

例11：对源文件进行修改

> \[root@xuegod110 opt\]\# cat a.txt  
> 112  
> 321  
> 434  
> 545  
> \[root@xuegod110 opt\]\# sed -i ‘s/112/xuegod/’ a.txt  
> \[root@xuegod110 opt\]\# cat a.txt  
> xuegod  
> 321  
> 434  
> 545

例12：修改IP地址

> \[root@xuegod110 opt\]\# sed -i ‘s/192.168.0.111/192.168.0.112/’ /etc/sysconfig/network-scripts/ifcfg-ens33  
> \[root@xuegod110 opt\]\# cat /etc/sysconfig/network-scripts/ifcfg-ens33 | grep -i ipaddr  
> IPADDR=“192.168.0.112”

例13：&符号的使用

> \[root@xuegod110 opt\]\# sed -n ‘s/root/<<&>>/p’ mima  
> <<\\root>>:\\x:0:0:root:/root:/bin/bash  
> operator:\\x:11:0:operator:/<>:/sbin/nologin

四、cut命令的使用  
1、cut命令常用的参数  
cut命令用来显示行中的指定部分，删除文件中指定字段  
说明：该命令有两项功能。其一是用来显示文件的内容，它一次读取由参数file所指明的文件，将它们的内容输出到标准输出上；其二是连续两个或多个文件，通过输出重定向符的作用，将它们放入到一个文件中  
语法：cut \[options\] 参数  
选项：  
\-b：仅显示行中指定范围的字节数  
\-c：仅显示行中指定范围的字符数  
\-d：指定字段的分隔符，默认的字段分隔符是：TAB  
\-f：显示指定字段的内容

例1：输出系统中的用户名

> \[root@xuegod110 opt\]\# cut -d":" -f1 mima  
> root  
> bin  
> daemon  
> adm  
> lp

2、cut命令可以将一串字符作为列来显示，字符字段的记法：  
N-：从第N个字符、字节、字段到结尾  
N-M：从第N个字符、字节、字段到第M个字符、字节、字段（包括M）  
\-M：从第1个字符、字节、字段到第M个字符、字节、字段  
上面是记法，结合下面的选项将某个范围的字节、字符指定为字段：  
\-b：表示字节  
\-c：表示字符  
\-f：表示定义字段

一般对汉字截取使用-c；对字符截取使用-b

例1：打印第1个到第3个字

> \[root@xuegod110 opt\]\# echo “abcde” | cut -c1-3  
> abc符：

例2：打印前2个字符

> \[root@xuegod110 opt\]\# echo “abcde” | cut -c-2  
> ab

例3：打印从第5个开始到结尾

> \[root@xuegod110 opt\]\# echo “abcdefghi” | cut -c5-  
> efghi

例4：打印IP地址信息

> \[root@xuegod110 opt\]\# ifconfig ens33 | sed -n ‘2p’|awk ‘\{print $2\}’  
> 192.168.0.111

[root_192.168.0.111]: mailto:root@192.168.0.111
[login.sh]: http://login.sh
[http_man.linuxde.net_docs_shell_regex.html]: http://man.linuxde.net/docs/shell_regex.html