【大数据】04 正则表达式

一时失言乱红尘 2023-06-13 12:30 3阅读 0赞

**先介绍一个命令 grep**

# 1、grep #

Linux grep命令用于查找文件里符合条件的字符串。

grep指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设grep指令会把含有范本样式的那一列显示出来。若不指定任何文件名称，或是所给予的文件名为”-“，则grep指令会从标准输入设备读取数据。

### 语法 ###

> grep \[-abcEFGhHilLnqrsvVwxy\]\[-A<显示列数>\]\[-B<显示列数>\]\[-C<显示列数>\]\[-d<进行动作>\]\[-e<范本样式>\]\[-f<范本文件>\]\[--help\]\[范本样式\]\[文件或目录...\]

**参数**：

*  \-a或–text 不要忽略二进制的数据。
 *  \-A<显示列数>或–after-context=<显示列数> 除了显示符合范本样式的那一列之外，并显示该列之后的内容。
 *  \-b或–byte-offset 在显示符合范本样式的那一列之前，标示出该列第一个字符的位编号。
 *  \-B<显示列数>或–before-context=<显示列数> 除了显示符合范本样式的那一列之外，并显示该列之前的内容。
 *  \-c或–count 计算符合范本样式的列数。
 *  \-C<显示列数>或–context=<显示列数>或-<显示列数> 除了显示符合范本样式的那一列之外，并显示该列之前后的内容。
 *  \-d<进行动作>或–directories=<进行动作> 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
 *  \-e<范本样式>或–regexp=<范本样式> 指定字符串做为查找文件内容的范本样式。
 *  \-E或–extended-regexp 将范本样式为延伸的普通表示法来使用。
 *  \-f<范本文件>或–file=<范本文件> 指定范本文件，其内容含有一个或多个范本样式，让grep查找符合范本条件的文件内容，格式为每列一个范本样式。
 *  \-F或–fixed-regexp 将范本样式视为固定字符串的列表。
 *  \-G或–basic-regexp 将范本样式视为普通的表示法来使用。
 *  \-h或–no-filename 在显示符合范本样式的那一列之前，不标示该列所属的文件名称。
 *  \-H或–with-filename 在显示符合范本样式的那一列之前，表示该列所属的文件名称。
 *  \-i或–ignore-case 忽略字符大小写的差别。
 *  \-l或–file-with-matches 列出文件内容符合指定的范本样式的文件名称。
 *  \-L或–files-without-match 列出文件内容不符合指定的范本样式的文件名称。
 *  \-n或–line-number 在显示符合范本样式的那一列之前，标示出该列的列数编号。
 *  \-q或–quiet或–silent 不显示任何信息。
 *  \-r或–recursive 此参数的效果和指定”-d recurse”参数相同。
 *  \-s或–no-messages 不显示错误信息。
 *  \-v或–revert-match 反转查找。
 *  \-V或–version 显示版本信息。
 *  \-w或–word-regexp 只显示全字符合的列。
 *  \-x或–line-regexp 只显示全列符合的列。
 *  \-y 此参数的效果和指定”-i”参数相同。
 *  –help 在线帮助。

### 实例 ###

1、在当前目录中，**查找**后缀有”test”字样的文件中包含”test”字符串的文件，并打印出该字符串的行。此时，可以使用如下命令：

>     grep test *file

结果如下所示：

>     $ grep test test* #查找后缀有“test”的文件包含“test”字符串的文件  
>     testfile1:This a Linux testfile! #列出testfile1 文件中包含test字符的行  
>     testfile_2:This is a linux testfile! #列出testfile_2 文件中包含test字符的行  
>     testfile_2:Linux test #列出testfile_2 文件中包含test字符的行

2、**以递归的方式查找符合条件的文件**。例如，查找指定目录/etc/acpi 及其子目录（如果存在子目录的话）下所有文件中包含字符串”update”的文件，并打印出该字符串所在行的内容，使用的命令为：

>     grep -r update /etc/acpi

输出结果如下：

>     $ grep -r update /etc/acpi #以递归的方式查找“etc/acpi”  
>     #下包含“update”的文件  
>     /etc/acpi/ac.d/85-anacron.sh:# (Things like the slocate updatedb cause a lot of IO.)  
>     Rather than  
>     /etc/acpi/resume.d/85-anacron.sh:# (Things like the slocate updatedb cause a lot of  
>     IO.) Rather than  
>     /etc/acpi/events/thinkpad-cmos:action=/usr/sbin/thinkpad-keys--update

3、**反向查找**。前面各个例子是查找并打印出符合条件的行，通过”-v”参数可以打印出不符合条件行的内容。

查找文件名中包含test 的文件中不包含test 的行，此时，使用的命令为：

>     grep -v test*

结果如下所示：

>     $ grep-v test* #查找文件名中包含test 的文件中不包含test 的行  
>     testfile1:helLinux!  
>     testfile1:Linis a free Unix-type operating system.  
>     testfile1:Lin  
>     testfile_1:HELLO LINUX!  
>     testfile_1:LINUX IS A FREE UNIX-TYPE OPTERATING SYSTEM.  
>     testfile_1:THIS IS A LINUX TESTFILE!  
>     testfile_2:HELLO LINUX!  
>     testfile_2:Linux is a free unix-type opterating system.

从上面的演示中，我们可以发现，grep 的查找匹配是 静态匹配，要查找的字符串必须与你提供的字符串一模一样，但有时候我们想要查找的不是静态字符串匹配，而是动态的特征匹配，如查找手机号、邮箱、IP地址，这时候就需要用到**正则表达式**。

# 正则表达式 #

## 正则表达式的分类 ##

1.  基本的正则表达式（Basic Regular Expression 又叫Basic RegEx 简称BREs）
2.  扩展的正则表达式（Extended Regular Expression 又叫Extended RegEx 简称EREs）
3.  Perl的正则表达式（Perl Regular Expression 又叫Perl RegEx 简称PREs）

## 基本组成部分 ##

正则表达式的基本组成部分（点击图片查看大图）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70][]

grep 默认支持 基本的正则表达式（Basic Regular Expression 又叫Basic RegEx 简称BREs），若想使用 扩展的正则表达式（Extended Regular Expression 又叫Extended RegEx 简称EREs），就需要使用 -E 选项。

[root@node0001 ~]# cat regex.txt 
    ooxx12121212ooxx
    ooxx12121212xxoo
    ooxx 12121212
    oox 12121212
    1212 ooxx 1212
    oo3xx
    oo4xx
    ooWxx
    oomxx
    $ooxx
    oo1234xx
    ooxyzxx
    
    
    [root@node0001 ~]# grep 'oo3|oo4' regex.txt 
    [root@node0001 ~]# grep -E 'oo3|oo4' regex.txt 
    oo3xx
    oo4xx

## **POSIX****字符类** ##

POSIX字符类是一个形如\[:...:\]的特殊元序列（meta sequence），他可以用于匹配特定的字符范围（点击图片查看大图）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70 1][]

## **元字符** ##

元字符（meta character）是一种Perl风格的正则表达式，只有一部分文本处理工具支持它，并不是所有的文本处理工具都支持（点击图片查看大图）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70 2][]

# 常用正则表达式 #

### 一、校验数字的表达式 ###

*  数字：**^\[0-9\]\*$**
 *  n位的数字：**^\\d\{n\}$**
 *  至少n位的数字**：^\\d\{n,\}$**
 *  m-n位的数字：**^\\d\{m,n\}$**
 *  零和非零开头的数字：**^(0|\[1-9\]\[0-9\]\*)$**
 *  非零开头的最多带两位小数的数字：**^(\[1-9\]\[0-9\]\*)+(\\.\[0-9\]\{1,2\})?$**
 *  带1-2位小数的正数或负数：**^(\\-)?\\d+(\\.\\d\{1,2\})$**
 *  正数、负数、和小数：**^(\\-|\\+)?\\d+(\\.\\d+)?$**
 *  有两位小数的正实数：**^\[0-9\]+(\\.\[0-9\]\{2\})?$**
 *  有1~3位小数的正实数：**^\[0-9\]+(\\.\[0-9\]\{1,3\})?$**
 *  非零的正整数：**^\[1-9\]\\d\*$ 或 ^(\[1-9\]\[0-9\]\*)\{1,3\}$ 或 ^\\+?\[1-9\]\[0-9\]\*$**
 *  非零的负整数：**^\\-\[1-9\]\[\]0-9"\*$ 或 ^-\[1-9\]\\d\*$**
 *  非负整数：**^\\d+$ 或 ^\[1-9\]\\d\*|0$**
 *  非正整数：**^-\[1-9\]\\d\*|0$ 或 ^((-\\d+)|(0+))$**
 *  非负浮点数：**^\\d+(\\.\\d+)?$ 或 ^\[1-9\]\\d\*\\.\\d\*|0\\.\\d\*\[1-9\]\\d\*|0?\\.0+|0$**
 *  非正浮点数：**^((-\\d+(\\.\\d+)?)|(0+(\\.0+)?))$ 或 ^(-(\[1-9\]\\d\*\\.\\d\*|0\\.\\d\*\[1-9\]\\d\*))|0?\\.0+|0$**
 *  正浮点数：**^\[1-9\]\\d\*\\.\\d\*|0\\.\\d\*\[1-9\]\\d\*$ 或 ^((\[0-9\]+\\.\[0-9\]\*\[1-9\]\[0-9\]\*)|(\[0-9\]\*\[1-9\]\[0-9\]\*\\.\[0-9\]+)|(\[0-9\]\*\[1-9\]\[0-9\]\*))$**
 *  负浮点数：**^-(\[1-9\]\\d\*\\.\\d\*|0\\.\\d\*\[1-9\]\\d\*)$ 或 ^(-((\[0-9\]+\\.\[0-9\]\*\[1-9\]\[0-9\]\*)|(\[0-9\]\*\[1-9\]\[0-9\]\*\\.\[0-9\]+)|(\[0-9\]\*\[1-9\]\[0-9\]\*)))$**
 *  浮点数：**^(-?\\d+)(\\.\\d+)?$ 或 ^-?(\[1-9\]\\d\*\\.\\d\*|0\\.\\d\*\[1-9\]\\d\*|0?\\.0+|0)$**

### 二、校验字符的表达式 ###

*  汉字：**^\[\\u4e00-\\u9fa5\]\{0,\}$**
 *  英文和数字：**^\[A-Za-z0-9\]+$ 或 ^\[A-Za-z0-9\]\{4,40\}$**
 *  长度为3-20的所有字符：**^.\{3,20\}$**
 *  由26个英文字母组成的字符串：**^\[A-Za-z\]+$**
 *  由26个大写英文字母组成的字符串：**^\[A-Z\]+$**
 *  由26个小写英文字母组成的字符串：**^\[a-z\]+$**
 *  由数字和26个英文字母组成的字符串：**^\[A-Za-z0-9\]+$**
 *  由数字、26个英文字母或者下划线组成的字符串：**^\\w+$ 或 ^\\w\{3,20\}$**
 *  中文、英文、数字包括下划线：**^\[\\u4E00-\\u9FA5A-Za-z0-9\_\]+$**
 *  中文、英文、数字但不包括下划线等符号：**^\[\\u4E00-\\u9FA5A-Za-z0-9\]+$ 或 ^\[\\u4E00-\\u9FA5A-Za-z0-9\]\{2,20\}$**
 *  可以输入含有^%&',;=?$\\"等字符：**\[^%&',;=?$\\x22\]+**
 *  禁止输入含有~的字符：**\[^~\\x22\]+**

### 三、特殊需求表达式 ###

*  Email地址：**^\\w+(\[-+.\]\\w+)\*@\\w+(\[-.\]\\w+)\*\\.\\w+(\[-.\]\\w+)\*$**
 *  域名：**\[a-zA-Z0-9\]\[-a-zA-Z0-9\]\{0,62\}(\\.\[a-zA-Z0-9\]\[-a-zA-Z0-9\]\{0,62\})+\\.?**
 *  InternetURL：**\[a-zA-z\]+://\[^\\s\]\* 或 ^http://(\[\\w-\]+\\.)+\[\\w-\]+(/\[\\w-./?%&=\]\*)?$**
 *  手机号码：**^(13\[0-9\]|14\[5|7\]|15\[0|1|2|3|5|6|7|8|9\]|18\[0|1|2|3|5|6|7|8|9\])\\d\{8\}$**
 *  电话号码("XXX-XXXXXXX"、"XXXX-XXXXXXXX"、"XXX-XXXXXXX"、"XXX-XXXXXXXX"、"XXXXXXX"和"XXXXXXXX)：**^(\\(\\d\{3,4\}-)|\\d\{3.4\}-)?\\d\{7,8\}$**
 *  国内电话号码(0511-4405222、021-87888822)：**\\d\{3\}-\\d\{8\}|\\d\{4\}-\\d\{7\}**
 *  电话号码正则表达式（支持手机号码，3-4位区号，7-8位直播号码，1－4位分机号）: **((\\d\{11\})|^((\\d\{7,8\})|(\\d\{4\}|\\d\{3\})-(\\d\{7,8\})|(\\d\{4\}|\\d\{3\})-(\\d\{7,8\})-(\\d\{4\}|\\d\{3\}|\\d\{2\}|\\d\{1\})|(\\d\{7,8\})-(\\d\{4\}|\\d\{3\}|\\d\{2\}|\\d\{1\}))$)**
 *  身份证号(15位、18位数字)，最后一位是校验位，可能为数字或字符X：**(^\\d\{15\}$)|(^\\d\{18\}$)|(^\\d\{17\}(\\d|X|x)$)**
 *  帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：**^\[a-zA-Z\]\[a-zA-Z0-9\_\]\{4,15\}$**
 *  密码(以字母开头，长度在6~18之间，只能包含字母、数字和下划线)：**^\[a-zA-Z\]\\w\{5,17\}$**
 *  强密码(必须包含大小写字母和数字的组合，不能使用特殊字符，长度在 8-10 之间)：**^(?=.\*\\d)(?=.\*\[a-z\])(?=.\*\[A-Z\])\[a-zA-Z0-9\]\{8,10\}$**
 *  强密码(必须包含大小写字母和数字的组合，可以使用特殊字符，长度在8-10之间)：**^(?=.\*\\d)(?=.\*\[a-z\])(?=.\*\[A-Z\]).\{8,10\}$**
 *  日期格式：**^\\d\{4\}-\\d\{1,2\}-\\d\{1,2\}**
 *  一年的12个月(01～09和1～12)：**^(0?\[1-9\]|1\[0-2\])$**
 *  一个月的31天(01～09和1～31)：**^((0?\[1-9\])|((1|2)\[0-9\])|30|31)$**
 *  钱的输入格式：
    
    1.  有四种钱的表示形式我们可以接受:"10000.00" 和 "10,000.00", 和没有 "分" 的 "10000" 和 "10,000"：**^\[1-9\]\[0-9\]\*$**
    2.  这表示任意一个不以0开头的数字,但是,这也意味着一个字符"0"不通过,所以我们采用下面的形式：**^(0|\[1-9\]\[0-9\]\*)$**
    3.  一个0或者一个不以0开头的数字.我们还可以允许开头有一个负号：**^(0|-?\[1-9\]\[0-9\]\*)$**
    4.  这表示一个0或者一个可能为负的开头不为0的数字.让用户以0开头好了.把负号的也去掉,因为钱总不能是负的吧。下面我们要加的是说明可能的小数部分：**^\[0-9\]+(.\[0-9\]+)?$**
    5.  必须说明的是,小数点后面至少应该有1位数,所以"10."是不通过的,但是 "10" 和 "10.2" 是通过的：**^\[0-9\]+(.\[0-9\]\{2\})?$**
    6.  这样我们规定小数点后面必须有两位,如果你认为太苛刻了,可以这样：**^\[0-9\]+(.\[0-9\]\{1,2\})?$**
    7.  这样就允许用户只写一位小数.下面我们该考虑数字中的逗号了,我们可以这样：**^\[0-9\]\{1,3\}(,\[0-9\]\{3\})\*(.\[0-9\]\{1,2\})?$**
    8.  1到3个数字,后面跟着任意个 逗号+3个数字,逗号成为可选,而不是必须：**^(\[0-9\]+|\[0-9\]\{1,3\}(,\[0-9\]\{3\})\*)(.\[0-9\]\{1,2\})?$**
    9.  备注：这就是最终结果了,别忘了"+"可以用"\*"替代如果你觉得空字符串也可以接受的话(奇怪,为什么?)最后,别忘了在用函数时去掉去掉那个反斜杠,一般的错误都在这里
 *  xml文件：**^(\[a-zA-Z\]+-?)+\[a-zA-Z0-9\]+\\\\.\[x|X\]\[m|M\]\[l|L\]$**
 *  中文字符的正则表达式：**\[\\u4e00-\\u9fa5\]**
 *  双字节字符：**\[^\\x00-\\xff\] (包括汉字在内，可以用来计算字符串的长度(一个双字节字符长度计2，ASCII字符计1))**
 *  空白行的正则表达式：**\\n\\s\*\\r (可以用来删除空白行)**
 *  HTML标记的正则表达式：**<(\\S\*?)\[^>\]\*>.\*?|<.\*? /> ( 首尾空白字符的正则表达式：^\\s\*|\\s\*$或(^\\s\*)|(\\s\*$) (可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式)**
 *  腾讯QQ号：**\[1-9\]\[0-9\]\{4,\} (腾讯QQ号从10000开始)**
 *  中国邮政编码：**\[1-9\]\\d\{5\}(?!\\d) (中国邮政编码为6位数字)**
 *  IP地址：**((?:(?:25\[0-5\]|2\[0-4\]\\\\d|\[01\]?\\\\d?\\\\d)\\\\.)\{3\}(?:25\[0-5\]|2\[0-4\]\\\\d|\[01\]?\\\\d?\\\\d))**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191117163828756.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191117170351880.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191117170429978.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4,size_16,color_FFFFFF,t_70