shell编程入门（二）

深碍√TFBOYSˉ_ 2022-07-15 08:19 237阅读 0赞

## 查找和替换 ##

### 查找文本 ###

grep查找文本是相当方便的。

传统上有三种程序，可以用来查找整个文本文件。

1.  grep
    
    最早的文本匹配程序。使用POSIX定义的基本正则表达式（Basic Regular Expression,BRE）
2.  egrep
    
    扩展式grep（Extended grep）。使用扩展的正则表达式（Extended Regular Expression,ERE）
3.  fgrep
    
    快速grep（Fast grep）。匹配固定的字符串而非正则表达式，使用了优化的算法，能更有效的匹配固定的字符串。

但是POSIX标准已经将上面的三种合并为一个grep，它的行为通过不同的选项加以控制。`-E`指定是egrep，`-F`指定是fgrep。

### 简单的grep ###

1.  语法
    
    `grep [options ...] pattern-spec [ file ... ]`
2.  用途
    
    显示匹配一个或者多个模式的文本行。时常会作为管道的第一步，以便对匹配的数据进行进一步的处理。
3.  主要选项
    
        -E 取代egrep -F 取代fgrep -l 列出匹配模式的文件名称，而不是打印匹配的行 -i 模式匹配式忽略大小写的差异 -q 如果模式匹配成功，则grep会成功离开，不讲匹配的行写入标准输出，否则即使不成功。 -s 不显示错误信息，通常与-q并用 -v 显示不匹配的行

#### 正则表达式 ####

正则表达式是一种表示方法，让你可以查找匹配特定准则的文本。

1.  POSIX方括号表达式

#### 基本正则表达式 ####

1.  匹配单个字符
2.  向后引用（backreference）
    
    匹配于正则表达式匹配的先前的部分。使用向后引用的步骤有二：
    
    1.  将子表达式包围在`$`和`$`里，单个模式里可包括至多9个子表达式，且可为嵌套结构。
    2.  在同一模式之后是用`\digit`，`digit`指的是介于1到9之间的数字，指的是“匹配于第n个先前方括号内子表达式匹配成功的字符”。
3.  单个表达式匹配多字符
4.  文本匹配锚点
    
    1.  脱字符号（`^`）：针对要被匹配字符串的开始处进行匹配。
    2.  货币符号（`$`）：针对要被匹配字符串的结尾处进行匹配。
5.  BRE运算符的优先级，由高至低
    
    <table> 
     <thead> 
      <tr> 
       <th>运算符</th> 
       <th>表示的意思</th> 
      </tr> 
     </thead> 
     <tbody> 
      <tr> 
       <td><code>[..][==] [::]</code></td> 
       <td>用于字符排序的方括号符号</td> 
      </tr> 
      <tr> 
       <td><code>\metacharacter</code></td> 
       <td>转义的meta字符</td> 
      </tr> 
      <tr> 
       <td><code>[]</code></td> 
       <td>方括号表达式</td> 
      </tr> 
      <tr> 
       <td><code> \digit</code></td> 
       <td>子表达式与向后引用</td> 
      </tr> 
      <tr> 
       <td><code>* \{ \}</code></td> 
       <td>前置单个字符重现的正则表达式</td> 
      </tr> 
      <tr> 
       <td>无符号</td> 
       <td>连续</td> 
      </tr> 
      <tr> 
       <td><code>^ $</code></td> 
       <td>锚点</td> 
      </tr> 
     </tbody> 
    </table>

#### 扩展的正则表达式 ####

1.  匹配单个字符
2.  向后引用不存在
3.  单个表达式匹配多字符
4.  交替（alternation）
    
    方括号易于表示“匹配于此字符，或者其他字符，或……”，但不能指定“匹配于这个序列，或者其他序列，或……”。要达到后者的目的，可以使用交替运算符。即垂直的一条线，或者称为管道字符（`|`）。例如：`grep -E name|echo devtty.sh`
5.  分组
    
    圆括号提供分组功能。例如：`(why)+`匹配多个why。
6.  停驻文本匹配
    
    1.  脱字符号（`^`）：针对要被匹配字符串的开始处进行匹配。
    2.  货币符号（`$`）：针对要被匹配字符串的结尾处进行匹配。
    3.  区别于BRE：在ERE中`^`和`$`永远是meta字符。
7.  ERE运算符的优先级，由高至低
    
    <table> 
     <thead> 
      <tr> 
       <th>运算符</th> 
       <th>表示的意思</th> 
      </tr> 
     </thead> 
     <tbody> 
      <tr> 
       <td><code>[..][==] [::]</code></td> 
       <td>用于字符排序的方括号符号</td> 
      </tr> 
      <tr> 
       <td><code>\metacharacter</code></td> 
       <td>转义的meta字符</td> 
      </tr> 
      <tr> 
       <td><code>[]</code></td> 
       <td>方括号表达式</td> 
      </tr> 
      <tr> 
       <td><code>( )</code></td> 
       <td>分组</td> 
      </tr> 
      <tr> 
       <td><code>* + ？ {}</code></td> 
       <td>重复前置的正则表达式</td> 
      </tr> 
      <tr> 
       <td>无符号</td> 
       <td>连续</td> 
      </tr> 
      <tr> 
       <td><code>^ $</code></td> 
       <td>锚点</td> 
      </tr> 
      <tr> 
       <td>`</td> 
       <td>`</td> 
      </tr> 
     </tbody> 
    </table>

![正则表达式类型][20161204235428521]

其他详细的正则表达式用法请参考我的另一篇博客：[正则表达式用法][Link 1]

#### 在文本文件中进行替换 ####

最佳的执行文本替换的程序应该是：sed—流编辑器（Steam Editor）。

##### 基本用法 #####

通常会在管道中间会用sed，以执行替换操作。

1.  语法
    
        sed [-n] 'editing command' [file ...]
        sed [-n] -e 'editing command' ... [file ...]
        sed [-n] -f script-file ... [file ...]
2.  用途
    
    为了编辑它的输入流，将结果输出到标准输出。
3.  主要选项
    
    1.  `-e 'editing command'`
        
        将editing command用到输入数据上，当有多个命令需要应用时，就必须使用`-e` 了。
    2.  `-f script-file`
        
        自script-file文件中读取编辑命令。当有多个命令需要执行时，相当有用。
    3.  `-n`
        
        不是每个最后已修改结果行都正常打印，而是显示以p指定的行。
4.  动作：  
    
    
    1.  a append：增加，在当前行的下一行增加
    2.  c:取代，取代n1到n2之间的行
    3.  d delete：删除
    4.  i 插入，目前行的上一行插入
    5.  p 打印，常常与-n使用
    6.  s 取代，s/old/new/g

##### 替换细节 #####

1.  在正则表达式或者替代文本中也能转义定界符。如：
    
    `sed 's/\/home\/tolstoy\//\/home\/lt\//'`
2.  向后引用替换文本。表示：“从这里开始替换成匹配第n个圆括号里子表达式的文本”。如：
    
    `echo ~/Desktop/temp/haha/test/ | sed 's;$/haha$/test/;\1/lt/;'`
3.  `&`表示‘从此处开始替换成匹配于正则表达式的整个文本’。如：
    
        test.xml.old内容为：Alpha is not Beta!
        sed 's/Alpha is/& Alpha,/' < test.xml.old > test.xml
        test.xml的内容为：Alpha is Alpha, not Beta!
4.  `g`表示‘全局性，代替文本取代正则表达式中每一个匹配’。如果没有设置，那么只会替换第一个匹配。如：
    
        test.xml.old内容为：Alpha is Alpha!
        未指定参数g：
        sed 's/Alpha/Beta/' < test.xml.old > nog.xml
        nog.xml的内容为：Beta is Alpha!
        
        指定参数g：
        sed 's/Alpha/Beta/' < test.xml.old > g.xml
        g.xml的内容为：Beta is Beta!
5.  指定一个数字n：表示替换第n次匹配到的内容。如：
    
        test.xml.old内容为：Alpha is Alpha!
        指定参数n=2：
        sed 's/Alpha/Beta/2' < test.xml.old > number.xml
        number.xml的内容为：Alpha is Beta!
6.  多个sed，可以通过管道串联，也可以通过指定`-e`来实现。如：
    
        test.xml.old内容为：Alpha is not Beta!
        sed -e 's/i/I/g' -e 's/n/N/g' < test.xml.old > test.xml
        test.xml的内容为：Alpha Is Not Beta!
7.  如果有很多sed要在一条命令执行就很恐怖了，可以采取参数`-f`。如：
    
    “\`  
    test.xml.old内容为：Alpha is not Beta!  
    capital.sed的内容为：  
    sed ‘s/i/I/g’  
    sed ‘s/n/N/g’
    
    使用`-f`命令如下：  
    sed -f capital.sed test.xml.old > test.xml  
    test.xml的内容为：Alpha Is Not Beta!  
    “\`

### 字段处理 ###

一条记录（record）指相关信息的单个集合。字段（field）记录的组成部分。

#### 使用cut选定字段 ####

cut命令用来截取文本文件中的数据，文本文件可以是字段类型或字符类型。

#### 使用cut选定字段 ####

1.  语法
    
        cut -c list [ file ...]
        cut -f list[ -d delim] [ file ...]
2.  用途
    
    从输入的文本中选择一个或者多个或者一组字符，配合管道可以做进一步的处理。
3.  主要选项
    
        -c     以字符为主，执行剪下的操作，list为字符编号或者一段范围的列表（用逗号隔开）
        
        -f     以字段为主，执行剪下的操作，list为字符编号或者一段范围的列表（用逗号隔开）
        
        -d delim     通过-f选项，使用delim作为定界符，默认定界符为制表字符（Tab）

#### 使用join连接字段 ####

join命令可以将多个文件结合在一起，每个文件里的每条记录，都是共享一个键值

1.  语法
    
        join [ options ...] file1 file2
2.  用途
    
    以相同一个键值，将已存储文件内的记录加以结合。
3.  主要选项
    
        -1 field1 -2 field2     标明要结合的字段。-1 field1指的是从file1中取出field1，而-2 field1指的是从file2中取出field2。字段编号自1开始，而非0.
        
        -o file.field     输出file文件中的field字段，一般的字段则不打印。除非使用多个-o选项，即可显示多个输出字段。
        
        -t separator    使用separator作为输入字段分割字符，而非使用空包空白。此字符也为输出字段分隔字符。

#### 使用awk重新编排字段 ####

取出字段并进行编排。

##### 字段 #####

awk设计的重点就在字段与记录上：awk读取输入记录，然后自动将各个记录切分为字段。

用法：`awk '{ print $1 }`

$0表示整条记录

##### 设置字段分隔字符 #####

可以使用-F选项设置读入分隔字符。

`awk -F: '{ print $1, $5}' /etc/passwd`

awk的输入、输出分隔字符用法是分开的。可以用`OFS`变量，改变输出字段分隔字符。方式：在命令行里使用-v选项。

`awk -F: -v 'OFS=/' '{ print $1, $5}' /etc/passwd`

##### 打印行 #####

`awk '{ print }'` 等同于 `awk '{ print $0}'`

也可以输出一句话

`awk '{ print "hello", $1 ,"!"}'`

--------------------

参考资料：  
Shell脚本学习指南 作者:（美）罗宾著  
备注：  
转载请注明出处：[http://blog.csdn.net/wsyw126/article/details/53100881][http_blog.csdn.net_wsyw126_article_details_53100881]  
作者：WSYW126

[20161204235428521]: /images/20220715/f280dc2312dc4e78be6c1e7a1cc4d420.png
[Link 1]: http://blog.csdn.net/wsyw126/article/details/52038234
[http_blog.csdn.net_wsyw126_article_details_53100881]: http://blog.csdn.net/wsyw126/article/details/53100881