原文转自:http://www.voidcn.com/blog/yf210yf/article/p-2846950.html

  1. 关于正则表达式的基本知识

正则表达式就是一个表达式(也是一串字符),它定义了某种字符串模式。利用正则表达式,可以对大段的文字进行复杂的查找、替换等。

matlab提供的正则表达式函数有三个:

regexp——用于对字符串进行查找,大小写敏感;
regexpi——用于对字符串进行查找,大小写不敏感;
regexprep——用于对字符串进行查找并替换。


第一部分——单个字符的匹配
1 句点符号 '.' ——匹配任意一个(只有一个)字符(包括空格)。
例如:t.n,它匹配tan、 ten、tin和ton,还匹配t#n、tpn甚至t n,还有其他许多无意义的组合。
Matlab例子程序:
clear;clc

str='ten,&8yn2tin6ui>&ton, t n,-356tpn,

t#n,4@).,t@nT&nY' ;

pat='t.n';

[o11,o22,o33]=regexpi(str,pat,'start','end','match');%输出起始位置和子串

方括号符号 '[oum]' ——匹配方括号中的任意一个
例如:t[aeio]n只匹配tan,Ten,tin和toN等。

方括号中的连接符 '[c1-c2]' ——匹配从字符c1开始到字符c2结束的字母序列

4 \n 等 ——特殊字符
下面是一些匹配单个字符的转义字符正则表达式及所匹配的值。
\xN或\x{N} 匹配八进制数值为N的字符
\oN或\o{N} 匹配十六进制数值为N的字符
\a Alarm(beep)
\b Backspace
\t 水平Tab
\n New line
\v 垂直Tab
\f 换页符
\r 回车符
\e Escape
\c 某些在正则表达式中有语法功能或特殊意义的字符c,要用\c来匹配,而不能直接用c匹配,如.用正则表达式.匹配,而\用正则表达式\匹配

5 \w,\s和\d——类表达式
和上面的\n等表中的转义字符有所不同,\w,\s,\d等匹配的不是某个特定的字符,而是某一类字符。具体说明如下:
\w匹配任意的单个文字字符,相当于[a-zA-Z0-9_];
\s匹配任意的单个空白字符,相当于[\t\f\n\r];
\d匹配任意单个数字,相当于[0-9];
\S匹配除空白符以外的任意单个字符,相当于[^\t\f\n\r]——方括号中的^表示取反
\W匹配任意单个字符,相当于[^a-zA-Z0-9_];
\D匹配除数字字符外的任意单个字符,相当于[^0-9]。

第二部分串的匹配

1.多次匹配{nstart,nend}

比如,我们要匹配'ppp',那么就可以用正则表达式'ppp',还可以记为'p{3}'。

正则表达式中的'{}'用来表示匹配前面的表达式的出现次数。就是说,'p{2,3}',匹配'pp'和'ppp'。例如:

expr? 与expr匹配的元素出现0或1次,相当于{0,1}
expr* 与expr匹配的元素出现1次或更多,相当于{0,}
expr+ 与expr匹配的元素出现1次或更多,相当于{1,}
expr{n} 与expr匹配的元素出现n次,相当于{n,n}
expr{n,} 与expr匹配的元素至少出现n次
expr{n,m} 与expr匹配的元素出现n次但不多于m次

(1)假设匹配号码格式999-99-9999:[0-9]{3}-[0-9]{2}-[0-9]{4}
(2)若连字符号可以出现也可以不出现:[0-9]{3}-?[0-9]{2}-?[0-9]{4}

(3)使用expr*时,matlab将尽可能的匹配最长的字符子串。

(4)如果我们希望匹配尽可能短的字符子串时,可以在上面我们使用的字符串后使用'?',也就是expr*?,如:

>> str='<tr valign=top><td><a name="19184"></a>xyz';

regexp(str,'<.*?>','match')

ans =

'<tr valign=top>' '<td>' '<a name="19184">' '</a>'

 

regexp(str,'<.*>','match')

ans =

'<tr valign=top><td><a name="19184"></a>'

(5)expr*+

先执行expr*,"游标"(如果有的话)就指到了与expr*匹配的字符子串的最末端,然后从那里开始再检查下一个字符与后面的表达式是否匹配,如果匹配就继续向前(如果一直成功则返回最长的字符串),如果不匹配则直接返回空。

  2.逻辑运算符

'exp|exp2':或

(expr) 将expr标记为一组、匹配expr,并将匹配的字符子串标记起来以供后面使用。
(?:expr) 说明expr为一组,相当于数学表达式中的()
例如:?lstr='A body or collection of such stories';
?regexp(lstr,'(?:[^aeiou][aeiou]){2,}','match')
ans =
'tori'
上面的表达式中{2,}对[^aeiou][aeiou]起作用,如果去掉分组,则只对[aeiou]起作用,如下所示:
?regexp(lstr,'[^aeiou][aeiou]{2,}','match')
ans =
'tio' 'rie'
(?>expr) expr中的每个元素是一个分组
(?#expr) expr放在(?#和)之间是就是注释。
^expr 匹配expr,并且出现在原字符串最前端的子串
expr$ 匹配expr,并且出现在原字符串最末端的子串

<expr 匹配expr,并且出现在一个单词最前端的子串
expr> 匹配expr,并且出现在一个单词最末端的子串
<expr> 更严格的单词匹配,如:以s开头,并且以h结尾的单词
?regexpi(hstr, '<s\w*h>', 'match')
ans =
'such'
3. 左顾右盼——利用上下文匹配
这个也比较容易理解。就是利用上下文的匹配来找到我们要找的内容。
expr1(?=expr2) 找到匹配expr1的子串,如果其后的字符串也匹配expr2
如,下面的例子查找所有在','之前的单词。
 ? pstr = ['While I nodded, nearly napping, ' …
'suddenly there came a tapping,'];
?regexpi(pstr, '\w*(?=,)', 'match')
ans =
'nodded' 'napping' 'tapping'
expr1(?!expr2) 找到匹配expr1的子串如果其后的字符串不匹配expr2
下面的例子匹配所有不在','之前的单词
?regexpi(pstr, '\w*+(?!,)', 'match')
ans = 
Columns 1 through 6
'While' 'I' 'nearly' 'suddenly' 'there' 'came'
Column 7
'a'
(?<=expr1)expr2 找到匹配expr2的子串,如果其前面的字符串也匹配expr1
下面的例子查找所有在','之后的单词,注意:','之后可能有空格
?regexpi(pstr,'(?<=,\s*)\w*','match')
ans =
'nearly' 'suddenly'
(?<!expr1)expr2 找到匹配expr2的子串,如果其后的字符串不匹配expr1
下面的例子查找所有不在','之后的单词,
?regexpi(pstr,'(?<!,\s*)\w*','match')
ans =
Columns 1 through 6
'While' 'I' 'nodded' 'early' 'napping' 'uddenly'
Columns 7 through 10
'there' 'came' 'a' 'tapping'



补充---------------------

应课程实验要求,要写一个基于人人网的简单爬虫。实验要求如下:

   学会使用一种编程语言实现爬取人人网关系网络的程序。该程序功能如下:

1.  能够输入用户登陆所产生的cookie,允许爬虫对人人网进行爬取网页。

2.  能够使用正则表达式对所获取的网页内容进行过滤,提取出所需要的重要信息。

3.  能够分析所获得信息,得到社交网络中各个个体之间的好友关系。

4.  能够将该关系矩阵导入到matlab中,以供数据分析使用。

 

  本文主要针对正则表达式进行介绍。(摘自百度百科

  一个正则表达式,就是用某种模式去匹配一类字符串的一个公式。

  正则表达式由一些普通字符和一些元字符(metacharacters)组成。普通字符包括大小写的字母和数字,而元字符则具有特殊的含义,我们下面会给予解释。

  在最简单的情况下,一个正则表达式看上去就是一个普通的查找串。例如,正则表达式"testing"中没有包含任何元字符,它可以匹配"testing"和"123testing"等字符串,但是不能匹配"Testing"。

  正则表达式用于字符串处理、表单验证等场合,实用高效。现将一些常用的表达式收集于此,以备不时之需。

  下面介绍常用的正则表达式(摘自http://lifesinger.3322.org/myblog/?p=185):

   匹配中文字符的正则表达式: [/u4e00-/u9fa5]
   评注:匹配中文还真是个头疼的事,有了这个表达式就好办了

   匹配双字节字符(包括汉字在内):[^/x00-/xff]

评注:可以用来计算字符串的长度(一个双字节字符长度计2,ASCII字符计1)

匹配空白行的正则表达式:/n/s*/r
评注:可以用来删除空白行

匹配HTML标记的正则表达式:<(/S*?)[^>]*>.*?<//1>|<.*? />
评注:网上流传的版本太糟糕,上面这个也仅仅能匹配部分,对于复杂的嵌套标记依旧无能为力

匹配首尾空白字符的正则表达式:^/s*|/s*$
评注:可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等),非常有用的表达式

匹配Email地址的正则表达式:/w+([-+.]/w+)*@/w+([-.]/w+)*/./w+([-.]/w+)*
评注:表单验证时很实用

匹配网址URL的正则表达式:[a-zA-z]+://[^/s]*
评注:网上流传的版本功能很有限,上面这个基本可以满足需求

匹配帐号是否合法(字母开头,允许5-16字节,允许字母数字下划线):^[a-zA-Z][a-zA-Z0-9_]{4,15}$
评注:表单验证时很实用

匹配国内电话号码:/d{3}-/d{8}|/d{4}-/d{7}
评注:匹配形式如 0511-4405222 或 021-87888822

匹配腾讯QQ号:[1-9][0-9]{4,}
评注:腾讯QQ号从10000开始

匹配中国邮政编码:[1-9]/d{5}(?!/d)
评注:中国邮政编码为6位数字

匹配身份证:/d{15}|/d{18}
评注:中国的身份证为15位或18位

匹配ip地址:/d+/./d+/./d+/./d+
评注:提取ip地址时有用

匹配特定数字:
^[1-9]/d*$    //匹配正整数
^-[1-9]/d*$   //匹配负整数
^-?[1-9]/d*$   //匹配整数
^[1-9]/d*|0$  //匹配非负整数(正整数 + 0)
^-[1-9]/d*|0$   //匹配非正整数(负整数 + 0)
^[1-9]/d*/./d*|0/./d*[1-9]/d*$   //匹配正浮点数
^-([1-9]/d*/./d*|0/./d*[1-9]/d*)$  //匹配负浮点数
^-?([1-9]/d*/./d*|0/./d*[1-9]/d*|0?/.0+|0)$  //匹配浮点数
^[1-9]/d*/./d*|0/./d*[1-9]/d*|0?/.0+|0$   //匹配非负浮点数(正浮点数 + 0)
^(-([1-9]/d*/./d*|0/./d*[1-9]/d*))|0?/.0+|0$  //匹配非正浮点数(负浮点数 + 0)
评注:处理大量数据时有用,具体应用时注意修正

匹配特定字符串:^[A-Za-z]+$  //匹配由26个英文字母组成的字符串^[A-Z]+$  //匹配由26个英文字母的大写组成的字符串^[a-z]+$  //匹配由26个英文字母的小写组成的字符串^[A-Za-z0-9]+$  //匹配由数字和26个英文字母组成的字符串^/w+$  //匹配由数字、26个英文字母或者下划线组成的字符串评注:最基本也是最常用的一些表达式

无觅关联推荐,快速提升流量