shell脚本的正则表达式

一、概念：
正则表达式是通过一些特殊字符的排序，用以删除、查找、替换一行或者多行文字字符串的程序。

二、特殊字符：
1、字符类

注意：任意字符“.”与重复字符“*”
1）.（小数点）：代表一定有一个任意字符的意思。
2）*（星号）：代表重复前一个0到无穷多次的意思，为组合形态。
【例】

释：“g*”代表的是具有空字符或一个g以上的字符。

2、数量限定符

注意：
1）正则表达式的特殊字符与一般在命令行输入命令的“通配符”并不相同。如：在通配符当中的“”代表的是零到无穷多个字符的意思。但是，在正则表达式中，“”代表重复前一个RE字符0到无穷多个的意思。使用的意义不同，需特别注意！
【例】

2）grep找的是包含某个模式的行，而不是完全匹配某一个模式的行。
【例】

释：“a*”匹配0个或多个a，而第4行包含0个a，所以也包含了这一模式。由第4行也可知：单独用“a*”这样的正则表达式做查找没有什么意义，一般是把“a*”作为正则表达式的一部分来用。

3、位置限定符

4、grep工具预定义的一些命令字符类

5、其他特殊字符

三、grep & 正则表达式
1、作用：
（1）可以在某个文件中找出包含某些字符串的行；
（2）可以找出符合某个模式的一类字符串。例如：email地址模式“xxxx@xxxx.xxx”；IP地址模式“yyy.yyy.yyy.yyy”。

2、语法：
（1）egrep相当于grep -E，表示采用Extended正则表达式语法。
（2）grep表示采用Basic语法。
（3）fgrep相当于grep -F，表示只搜索固定字符串而不搜索正则表达式模式，不会按正则表达式的语法解释后面的参数。

【例】找出符合IP地址模式的字符串

注意：
1）grep是一种查找过滤工具，正则表达式在grep中用来查找符合某一模式的字符串。
2）正则表达式参数要用单引号括起来，因为正则表达式中用到的很多特殊字符在shell中也有特殊含义（如：\），只有用单引号括起来才能保证这些字符原封不动地传到grep命令，而不会被shell解释掉。
3）以上介绍的是grep正则表达式的extended规范，Basic规范也有这些语法，只是字符“‘？’、‘+’、‘{}’、‘（）’、‘|’”应解释为普通字符，要表示上述特殊含义则需要加“\”转义。如果用grep而不是egrep，并且不加-E参数，则应该遵照Basic规范来写正则表达式。（切记！切记！）

3、在grep中使用正则表达式的步骤
（1）确定字符类型
（2）确定字符串数量
（3）确定字符串位置

【例1】匹配日期格式YYYY-MM-DD
分段判断确定
1）首先判断Y的字符类为：阿拉伯数字0到9，用[0-9]表示；
2）再判断Y的数量为：4，用{4}表示；
3）最后判断Y的位置：在行首，用^表示。
同理判断M和D，得^[0-9]{4}-[0-9]{2}-[0-9]{2}$，看下图：

【例2】匹配IP地址
分段判断三步确定：字符、数量和位置

注意：由于使用egrep，所以不需要对“‘？’、‘+’、‘{}’、‘()’、‘|’”进行转义。

四、sed & 正则表达式
与grep一样，sed也支持特殊元字符来进行模式查找和替换。不同的是，sed使用的正则表达式是括在斜杠线“/”之间的模式。
如果想把正则表达式分隔符“/”改为另一个字符，比如o，只要在这个字符前加一个反斜线，在字符后跟上正则表达式，在跟上这个字符即可。例如：sed -n ‘\o^Myop’test。正则表达式在sed中的运用如下。

1、“^”：行首定位符
【例】匹配文件file1中所有以my开头的行

2、“$”：行尾定位符
【例】匹配所有以my结尾的行

3、“.”：匹配除换行符以外的单个字符
【例】匹配包含字母m，后跟两个任意字符，再跟字母y的行。

4、“*”：匹配零个或多个前导字符
【例】

5、“[]”：匹配指定字符组内的任一字符。
【例】匹配包含test或tEst的行

6、“[^]”匹配不在指定字符组内的任一字符。
【例】匹配string以t开头，但st之前的那个字符不是e或E的行

7、“&”：保存查找串以便在替换串中引用。
【例】用“test”替换“test”

8、“(..)”：保存已匹配的字符。
标记元字符之间的模式，并将其保存为标签“1”，之后可以使用“\1”来引用它。最多可以定义9个标签，从左边开始编号，最左边的是第一个。
【例】对第1到第3行进行处理，tes被保存为标签1，如果发现tes，则替换为“\1”kkkkkk，即“teskkkkkk”。

9、“\<”：词首定位符。
【例】匹配包含以“lo”开头的单词的行

10、“>”词尾定位符。
【例】匹配包含“ve”结尾的单词的行

11、x{m}：连续m个x。
12、x{m,}：至少m个x。
13、x{m,n}：至少m个，但不超过n个x。
注意：要对“‘？’、‘+’、‘{}’、‘()’、‘|’”进行转义。