Python中网络页面抓取和页面分析

今天药忘吃喽~ 2022-05-15 06:21 295阅读 0赞

### [Python中网络页面抓取和页面分析 ][Python_] ###

分类： [ Python][Python] [ 搜索][Link 1] 2012-07-22 14:53  589人阅读 [评论][Link 2](0) 收藏 [举报][Link 3]

转载本文请以链接形式注明出处。

**1.前言**

Python的网络抓取有很多包可以实现，比如：urllib、urllib2、httplib、httplib2。其中httplib、httplib2是专门处理与http相关的；而urllib、urllib2是借助于httplib、httplib2实现的，相当于在httplib、httplib2上又封装了一层来进行处理web数据。而urllib2是urllib的高版本，httplib2是httplib的高版本。

这里我给出一个学习python库的网址，里面有各种lib库的讲解：[http://docs.python.org/library/index.html][http_docs.python.org_library_index.html]  。有兴趣的读者可以看一下。

由于最近在使用httplib2进行网上抓取数据，所以下面对httplib2进行介绍。

**2.httplib2**

(1)安装

httplib2的安装：首先下载python的httplib2的安装包，下载地址为：[http://code.google.com/p/httplib2/downloads/list][http_code.google.com_p_httplib2_downloads_list]；其次， 在dos窗口下进入httplib2的解压目录，执行命令：python setup.py install  。 即完成安装。

(2)使用讲解

下面再给出一个httplib2的学习地址，是httplib2的一个wiki，里面有几个httplib2的简单例子：[http://code.google.com/p/httplib2/wiki/Examples][http_code.google.com_p_httplib2_wiki_Examples] 。

(a)下面给出第一个httplib2的例子，根据weibo用户的ID，抓取用户相关信息：

这个例子涉及到cookies的使用，下面简单介绍一下cookies的问题：

当用户抓取的网页需要登陆时，一般的登录页面只需要用户名和密码，此时我们可以采用username和password的python代码抓取网页。但是当用户频繁的登录抓取时，此时登录页面就需要输入用户名、密码和一个**随机数字图片验证**，图片验证无法屏蔽掉。此时，我们这里可以采用先获取用户登陆后的cookies，再以http的get请求的方式向用户发送headers（该headers包含用户登陆后的cookies信息），这样就避免了登陆。

获取cookies的方法我感觉有2种，一种是手工方式：通过fiddler软件来查看，当用户在浏览器里输入请求的网址时，通过fiddler就可以查看用户的http的响应，具体的过程如下面2张图片所示，第一张图片是fiddler查看cookies的header，第二张图是拷贝该header：

![1343015697_7819.png][]

![1343015711_8374.png][]

第二种获取cookies的方式，可以第一次通过用户名和密码向url发出请求，然后将请求后的response中的headers的cookies保存下来，下次就可以根据cookies去登录该url并获取页面内容。

好，cookies介绍完毕，咱们回来，下面给出第一个demo（通过cookie登陆获取微博页面，并抓取微博用户信息）：

**\[python\]** [ view plain][view plain] [copy][view plain]

1.  \#!/usr/bin/python  
2.  \# -\*-coding:utf-8 -\*-  
3.  import httplib2  
4.  import urllib2  
5.  import re \#正则表达式模块  
6.    
7.  class WeiboClass: \#定义一个weibo类  
8.    
9.      \#获取指定url的网页内容  
10.     def get\_content(self,url,headers,id):  
11.         http=httplib2.Http()  
12.         response,content=http.request(url+str(id),'GET',headers=headers)  
13.         \#print url+str(id)  
14.         return content.decode('unicode-escape').encode('utf-8')  
15.   
16.     \#判断weibo的用户是否是企业用户  
17.     def is\_company(self,url,headers,id):  
18.         content=self.get\_content(url,headers,id)  
19.         title=r'行业'  
20.         company\_title=re.compile(title)   
21.         if company\_title.search(content): \#使用正则表达式对title进行匹配          
22.             return 1  
23.         else:  
24.             return 0  
25.           
26.     \#获取用户的weibo信息：ID，主页url，昵称  
27.     def get\_info(self, url,headers,id):  
28.         flag=self.is\_company(url,headers,id)  
29.         content=self.get\_content(url,headers,id)  
30.         if flag==0:  \#如果用户是个人用户              
31.             \#print content  
32.             \#微博ID  
33.             id\_flag=r'\\$CONFIG\\\[\\'oid\\'\\\] = \\'(\[0-9\].+?)\\';'  
34.             id\_re=re.compile(id\_flag)  
35.             id\_regx=id\_re.search(content)  
36.             id=id\_regx.group(1)  
37.             print id  
38.   
39.             \#微博url  
40.             url\_flag=r'<meta http-equiv="mobile-agent" content="format=xhtml;" url="weibo.cn/(.+?)\\?'  
41.             url\_re=re.compile(url\_flag)  
42.             url\_regx=url\_re.search(content)  
43.             url\_0=url\_regx.group(1)  
44.             url='[http://weibo.com/][http_weibo.com]'\+url\_0  
45.             print url  
46.               
47.             \#昵称  
48.             name\_flag='<div class="name clearfix">.+?<div class="left">(.+?)<'  
49.             name\_re=re.compile(name\_flag,re.S)  
50.             name\_regx=name\_re.search(content)  
51.             name=name\_regx.group(1)  
52.             name=name.decode('utf-8').encode('GBK')  
53.             print name  
54.   
55. def main():              
56.     headers=\{ "cookie":'NSC\_wjq\_xfjcp.dpn\_w3.6\_w4=ffffffff0941137b45525d5f4f58455e445a4a423660; SUS=SID-1806453925\-1342851885\-XD-hgrjc-03210d75ca203f3ad0d57666a05ae49d; SUE=es%3Deabd0a14bc6e6123c5c4d058d9a2c96f%26ev%3Dv1%26es2%3Db50ae59b82b457a1ba54b2b7708fbb5b%26rs0%3DdP4RVYzORRwV64PFw6wRdNGBk0HP47V8C5SXUp%252F7Q9K2RcduYt4ECQbEDNZk%252Bs8GHDpW5wk%252B3%252FmYKP12zIyQbD1bUMd2wNBgdRX45p2rygizXgHMjH%252FFnU53HJFC2OfSvEHZADJkZD%252BTdLHidgoyy4maajVHi%252B%252B1en0zIKIf3mo%253D%26rv%3D0; SUP=cv%3D1%26bt%3D1342851885%26et%3D1342938285%26d%3Dc909%26i%3D4dc3%26us%3D1%26vf%3D0%26vt%3D0%26ac%3D0%26uid%3D1806453925%26user%3Dqipeng.sdsy%2540163.com%26ag%3D4%26name%3Dqipeng.sdsy%2540163.com%26nick%3D%25E4%25B8%2580%25E5%258C%25B9%25E5%259C%25A8%25E8%25B7%25AF%25E4%25B8%258A%25E7%259A%2584%25E9%25A9%25AC%26fmp%3D%26lcp%3D; SSOLoginState=1342851885; ads\_ck=1; UOR=hao.360.cn,weibo.com,spr\_web\_360\_hao360\_weibo\_t001:1342851234578; \_olympicMedalsTable=; ULV=1342851891453:53:53:53:3919105774821.296.1342851890484:1342851070843; SinaRot/u/1806453925=25; un=qipeng.sdsy@163.com; \_\_utma=182865017.1486634646.1342787238.1342787238.1342787238.1; \_\_utmz=182865017.1342787238.1.1.utmcsr=weibo.com|utmccn=(referral)|utmcmd=referral|utmcct=/u/1806453925; myuid=1806453925; wvr=4; ALF=1343135290; SinaRot/u/1806453925%3Fgid%3D201108260278357557=77; SinaRot/u/1806453925%3Fc%3Dspr\_web\_360\_hao360\_weibo\_t001=59; \_s\_tentry=-; Apache=3919105774821.296.1342851890484; SINAGLOBAL=3919105774821.296.1342851890484; BAYEUX\_BROWSER=4e70u68yfp1x9xreh4wbcw2jfhs; JSESSI\\  
57. ONID=3nvoas5ykh0e'\}      
58.     url='[http://weibo.com/][http_weibo.com]'  
59.     print headers  
60.     page = WeiboClass()  
61.     page.get\_info(url,headers,1842764911)  
62.   
63.   
64. if \_\_name\_\_ == "\_\_main\_\_":  
65.     main()

(b)下面给出httplib2的第二个例子

**\[python\]** [ view plain][view plain] [copy][view plain]

1.  \#!/usr/bin/python  
2.  \# -\*-coding:utf-8 -\*-  
3.  import sys;  
4.  import os;  
5.  import urllib2;  
6.  import httplib2;  
7.  import Cookie;  
8.  import random;  
9.  import re;  
10. import time;  
11. from urllib import urlencode;  
12. import hashlib;  
13. import datetime;  
14. import socket;  
15.   
16. \#httplib2.debuglevel=1;  
17.   
18. def error\_log(log):  
19.     sys.stderr.write("%s\\n" % (log));  
20.   
21. class ErrorCode:  
22.     Succ         = 0;  
23.     Unknown      = -1; \# 未知原因  
24.   
25. class SimBrowser :  
26.     socket.setdefaulttimeout(10); \# 超时限制 10秒  
27.     UserAgent="";  
28.     cookie=None;  
29.     httplink = httplib2.Http();      
30.     httplink.follow\_redirects = False;  
31.     hostname="";      
32.     def \_\_init\_\_(self, cookie, UserAgent="Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727)"):  
33.         self.cookie = cookie;  
34.         self.UserAgent = UserAgent;          
35.           
36.     def gen\_cookie\_str(self):  
37.         cookiestr = '; '.join(self.cookie.output(attrs=\[\], header="").split('\\r\\n'));  
38.         if len(cookiestr) <= 0:  
39.             return "";  
40.         else:  
41.             return cookiestr;  
42.     def prepare\_request\_header(self, header):  
43.         newheader = \{\};  
44.         cookiestr = self.gen\_cookie\_str();  
45.         if len(cookiestr) > 0:  
46.             newheader\['Cookie'\] = cookiestr;          
47.         \# set agent  
48.         newheader\['User-Agent'\] = self.UserAgent;  
49.           
50.         \# replace or append user specified values in header  
51.         for key in header.keys():  
52.             newheader\[key\] = header\[key\];  
53.         return newheader;  
54.   
55.     \# maintain cookies  
56.     def maintain\_cookie(self, response\_header):  
57.         if 'set-cookie' in response\_header:  
58.             self.cookie.load(response\_header\['set-cookie'\]);              
59.   
60.     def get\_redirect\_url(self, prevurl, res):  
61.         if 'location' not in res:  
62.             error\_log('no location in res');  
63.             return "";  
64.   
65.         location = res\['location'\];  
66.         if len(location) <= 0:  
67.             error\_log('location length is zero');  
68.             return "";  
69.   
70.         \# check location contain fullpath of target  
71.         if location.find("http://") != 0:  
72.             p = re.compile(r"\[([http://)\]\*\[.\\-\_0-9A-Za-z\]+][http_._-_0-9A-Za-z]");  
73.             m = p.match(prevurl);  
74.             if m != None:                  
75.                 host = m.group();  
76.                 return host + location;  
77.             else:  
78.                 error\_log('cannot get host link');  
79.                 host = "";  
80.         else:  
81.             return location;  
82.   
83.     def request(self, url, method="GET", headers=\{\}, body="", follow\_redirects=False):   
84.         newheaders = self.prepare\_request\_header(headers);  
85.         newurl = url;  
86.         newbody = body;  
87.         while (True):  
88.             try:  
89.               res, content = self.httplink.request(newurl, method=method, headers=newheaders, body=newbody);  
90.               self.maintain\_cookie(res);  
91.             except Exception , what:  
92.                 try:  
93.                   res, content = self.httplink.request(newurl, method=method, headers=newheaders, body=newbody);  
94.                   self.maintain\_cookie(res);  
95.                 except Exception , what:   
96.                     try:  
97.                       res, content = self.httplink.request(newurl, method=method, headers=newheaders, body=newbody);  
98.                       self.maintain\_cookie(res);  
99.                     except Exception , what: \# 访问获取 三次 不成功返回失败  
100.                         res='';  
101.                         content='';  
102.                         break;  
103.   
104.             \# check redirects  
105.             if follow\_redirects==False:  
106.                 break;  
107.             elif res.status in(300, 301, 302):                  
108.                 prevurl = newurl;  
109.                 newheaders = self.prepare\_request\_header(\{\});  
110.                 newurl = self.get\_redirect\_url(prevurl, res);  
111.                 body = "";  
112.                 method="GET";  
113.                 if len(url) > 0:  
114.                     continue;  
115.                 else:  
116.                     sys.stderr.write("Error:failed to get redirect location\\n");  
117.                     break;  
118.             else:  
119.                 break;  
120.         return res, content;  
121. def main():  
122.     cookie = Cookie.SimpleCookie();  
123.     sim = SimBrowser(cookie);  
124.       
125.     aurl='[http://s.weibo.com/weibo/computer&Refer=STopic\_box][http_s.weibo.com_weibo_computer_Refer_STopic_box]';  
126.     myCookie = ('UOR=,weibo.com,; myuid=1369574593; un=zhaolianxiang@126.com; \\  
127. un=zhaolianxiang@126.com; wvr=4; \_\_utma=15428400.565128140.1342666019.13426660\\  
128. 19.1342666019.1; \_\_utmz=15428400.1342666019.1.1.utmcsr=blog.sina.com.cn|utmccn\\  
129. =(referral)|utmcmd=referral|utmcct=/s/blog\_84313fa001010n90.html; NSC\_wjq\_xfjc\\  
130. p.dpn\_w3.6\_w4=ffffffff0941010945525d5f4f58455e445a4a423660; SSOLoginState=1342\\  
131. 867370; \_s\_tentry=login.sina.com.cn; Apache=9964875415898.86.1342867464581; UL\\  
132. V=1342867464624:7:7:4:9964875415898.86.1342867464581:1342514299919; SUE=es%3D6\\  
133. c406ebb66f15ce0e5b852efa908d728%26ev%3Dv1%26es2%3D658950facb6ad8c9c8627639f31a\\  
134. 61de%26rs0%3Df6AWRRwcy3r7HJ7y1mdnQR5icnbFHj6Qt%252F6Og2%252FaDBwMtLGJbQhanphxu\\  
135. EWsXCI1CPdl1yhB%252BHNobWvCmQPmF0xjrJhrvxCWAoiiE7D9cPDXQVOvlQPDsAopv10Un5DDuES\\  
136. %252FZcPXtwnaCYnD5hcMAoDinTKgBxbeZ%252FBSiLzvEdQ%253D%26rv%3D0; SUP=cv%3D1%26b\\  
137. t%3D1343009147%26et%3D1343095547%26d%3Dc909%26i%3D3d45%26us%3D1%26vf%3D0%26vt%\\  
138. 3D0%26ac%3D1%26uid%3D1842764911%26user%3Dzhaolianxiang%2540126.com%26ag%3D4%26\\  
139. name%3Dzhaolianxiang%2540126.com%26nick%3DSean%26fmp%3D%26lcp%3D2011\-12\-25%252\\  
140. 012%253A59%253A36; SUS=SID-1842764911\-1343009147\-XD-cyk5d-215c6a72f1b3a340c301\\  
141. 533e2b4ce49d; ALF=1343095212; ads\_ck=1; SinaRot/z/zhaolianxiang=44; SINAGLOBAL\\  
142. =9964875415898.86.1342867464581; \_olympicMedalsTable=; USRHAWB=usrmdins213\_206');  
143.     headers=\{ 'Cookie':myCookie,'Content-Type':'application/x-www-form-urlencoded'\};  
144. \#    print "myCookie:",myCookie;  
145. \#    body=\{'path':'GET/material','userid':self.BaiduId,'token':self.token,'params':'\{"level":"useracct","fields":\["wregion","wbudget","userstat"\]\}'\};  
146.     \#以http的方式向aurl发出get请求，同时将http的头headers发送过去  
147.     \#这个headers包含了用户的登陆的cookies信息。cookies的获取可以通过fiddler软件来查看。  
148.     res, content = sim.request(aurl,'GET', headers=headers);  
149.     print "res:",res  \#输出http的响应response  
150.     \#将获取的网页内容先解码，再以utf-8的形式编码  
151.     print "content:",content.decode('unicode-escape').encode('utf-8');  
152.       
153.   
154. if \_\_name\_\_ == "\_\_main\_\_":  
155.     main();          
156.

注：上面的两个程序中的cookies均已失效，需要您通过我上面介绍的方法替换cookies中的内容。

(3)总结

使用cookie登陆抓取指定页面，可以像下面这样，这是一个最简洁的代码

**\[python\]** [ view plain][view plain] [copy][view plain]

1.  \#!/usr/bin/python  
2.  \# coding:utf-8   
3.  import httplib2  
4.  import urllib2  
5.  import re \#正则表达式模块  
6.    
7.  class PageClass:  
8.    
9.      \#获取指定url的网页内容  
10.     def get\_page(self,url,headers):  
11.         http=httplib2.Http()  
12.         response,content=http.request(url,'GET',headers=headers)  
13.         \#return content.decode('unicode-escape').encode('utf-8')  
14.         return content.decode('unicode-escape').encode('utf-8')  
15.           
16. def main():              
17.     headers=\{ "cookie":'your cookie'\}  
18.     url = '[http://fengchao.baidu.com][http_fengchao.baidu.com]'  
19.     \#print headers  
20.     page = PageClass()  
21.     content = page.get\_page(url,headers)  
22.     print content  
23.   
24. if \_\_name\_\_ == "\_\_main\_\_":  
25.     main()

只需要输入url和headers就可以抓取到指定的页面。这里需要输入你自己的cookie。上面的代码执行后的结果如下，可以看到我们抓取到了内容：

![1346421120_6944.png][]

**3.XPath**

将抓取到的页面源码，如何进行解析，一般采用下面三种技术：  
        (1)lxml的xpath:基于XML的语义进行解析的(推荐)。  
        (2)正则表达式(RE):基于纯文本的处理。  
        (3)纯字符串处理(不推荐)

总结：RE对付简单的页面没有问题，如果页面结构复杂度较高的时候，建议采用xpath，因为此时设计一个合适的RE pattern可能会远比写一个xpath要复杂。

lxml的下载地址：[http://pypi.python.org/pypi/lxml/2.3][http_pypi.python.org_pypi_lxml_2.3]

上面介绍的httplib2的2个示例均是通过RE(正则表达式)来进行页面解析的。下面我们介绍XPath来进行页面解析想要的内容。

XPATH基本上是用一种类似目录树的方法来描述在XML文档中的路径。比如用“/”来作为上下层级间的分隔。第一个“/”表示文档的根节点（注意，不是指文档最外层的tag节点，而是指文档本身）。比如对于一个HTML文件来说，最外层的节点应该是”/html”。同样的，“..”和“.”分别被用来表示父节点和本节点。  
        XPATH返回的不一定就是唯一的节点，而是符合条件的所有节点。比如在HTML文档里使用“/html/head/scrpt”就会把head里的所有script节点都取出来。  
        为了缩小定位范围，往往还需要增加过滤条件。过滤的方法就是用“\[”“\]”把过滤条件加上。比如在HTML文档里使用“/html/body/div\[@id='main'\]”，即可取出body里id为main的div节点。其中@id表示属性id，类似的还可以使用如@name, @value, @href, @src, @class….  。

而函数text()的意思则是取得节点包含的文本。比如：<div>hello<p>world</p>< /div>中，用”div\[text()='hello'\]“即可取得这个div，而world则是p的text()。

函数position()的意思是取得节点的位置。比如“li\[position()=2\]”表示取得第二个li节点，它也可以被省略为“li\[2\]”。

不过要注意的是数字定位和过滤条件的顺序。比如“ul/li\[5\]\[@name='hello'\]”表示取ul下第五项li，并且其name必须是hello，否则返回空。而如果用“ul/li\[@name='hello'\]\[5\]”的意思就不同，它表示寻找ul下第五个name为”hello“的li节点。  
          此外，“\*”可以代替所有的节点名，比如用”/html/body/\*/span”可以取出body下第二级的所有span，而不管它上一级是div还是p或是其它什么东东。  
而 “descendant::”前缀可以指代任意多层的中间节点，它也可以被省略成一个“/”。比如在整个HTML文档中查找id为“leftmenu”的 div，可以用“/descendant::div\[@id='leftmenu'\]”，也可以简单地使用“ //div\[@id='leftmenu'\]”。  
        至于“following-sibling::”前缀就如其名所说，表示同一层的下一个节点。”following-sibling::\*”就是任意下一个节点，而“following-sibling::ul”就是下一个ul节点。

下面给出一个示例，其功能为提取百度首页搜索框上面的导航条的内容：

**\[python\]** [ view plain][view plain] [copy][view plain]

1.  \#该程序是对百度的首页进行分析，并提取出其搜索框上面的导航条  
2.  import httplib2  
3.  import urllib2  
4.  import re  
5.  from lxml import etree  
6.    
7.  def main():  
8.      http = httplib2.Http()  
9.      response,content = http.request("[http://www.baidu.com][http_www.baidu.com]",'GET')  
10.     print "response:",response  
11.     print "content:",content  
12.   
13.     tree = etree.HTML(content)  
14.   
15.     \#上面的注释为要查找的部分html  
16.     \#<p id=nv><a href=[http://news.baidu.com][http_news.baidu.com]>新闻</a><b>网页</b>  
17.     \#<a href=[http://tieba.baidu.com][http_tieba.baidu.com]>贴吧</a><a href=[http://zhidao.baidu.com][http_zhidao.baidu.com]>知道</a>  
18.     \#<a href=[http://mp3.baidu.com][http_mp3.baidu.com]>MP3</a><a href=[http://image.baidu.com][http_image.baidu.com]>图片</a>  
19.     \#<a href=[http://video.baidu.com][http_video.baidu.com]>视频</a><a href=[http://map.baidu.com][http_map.baidu.com]>地图</a></p>  
20.   
21.     \#下面开始查找id为nv的p标签下的所有<a>的href值  
22.     hyperlinks = tree.xpath(u'//p\[@id="nv"\]/a/@href')  
23.     print "hyperlinks:",hyperlinks  
24.     for hyperlink in hyperlinks:  
25.         print "hyperlink:",hyperlink  
26.           
27.     \#查找id为nv的p标签下的所有<a>节点  
28.     a\_nodes = tree.xpath(u'//p\[@id="nv"\]/a')  
29.     print "a\_nodes\_length:",len(a\_nodes)  
30.     for a\_node in a\_nodes:  
31.         print "<a>:",a\_node.text,a\_node.attrib\['href'\]  
32.     print "\\n"  
33.   
34.     \#通过正则表达式查找<p id="nv">的标签内容，匹配的内容为正则表达式中的"()"内的内容     
35.     name\_flag='<p id="nv">(.+?)</p>'  
36.     name\_re=re.compile(name\_flag,re.S)  
37.     name\_regx=name\_re.search(content)  
38.     print name\_regx  
39.     name=name\_regx.group(1)  
40.     print "name:",name  
41.           
42. if \_\_name\_\_ == "\_\_main\_\_":  
43.     main()

其执行结果为：

![1343139952_7793.png][]

下面对其进行分析：

首先，对[www.baidu.com进行http的get请求，然后将相应的页面结果进行分析。这里我使用了3种方式进行页面分析，前2种方式为使用xpath提取，第3种方式为通过正则表达式匹配提取。程序中有详细的注释。][www.baidu.com_http_get_3_2_xpath_3]

**4.HTMLParser**

该模块是用来解析HTML元素的。可以从HTML中筛选出指定的标签。下面给出一个例子，读取百度首页[www.baidu.com中的所有链接，并打印出来。][www.baidu.com]

**\[python\]** [ view plain][view plain] [copy][view plain]

1.  import HTMLParser  
2.  import urllib  
3.  import sys  
4.    
5.  \#定义HTML解析器  
6.  class parseLinks(HTMLParser.HTMLParser):  
7.      \#该方法用来处理开始标签的，eg:<div id="main">  
8.      def handle\_starttag(self, tag, attrs):  
9.          if tag == 'a':  \#如果为<a>标签  
10.             \#name为标签的属性名，如href、name、id、onClick等等  
11.             for name,value in attrs:      
12.                 if name == 'href': \#这时选择href属性  
13.                     print "name\_value: ",value  \#href属性的值  
14.                     print "first tag:",self.get\_starttag\_text() \#<a>标签的开始tag  
15.                     print "\\n"  
16.   
17. if \_\_name\_\_ == "\_\_main\_\_":  
18.     \#创建HTML解析器的实例  
19.     lParser = parseLinks()  
20.     \#打开HTML文件  
21.     lParser.feed(urllib.urlopen("[http://www.baidu.com][http_www.baidu.com]").read())  
22.     lParser.close()

但调用feed函数时，会自动调用handle\_starttag函数，这里的handle\_starttag函数是对原函数的重写。handle\_starttag(self,tag,attrs)中的参数tag是标签的名字；参数attrs是一个(name,value)键值对，是通过查找到tag的<>括号来确定的，其中name是tag的<>中的属性名，value是去除引号后的值。

上面程序的执行结果如下：（下面的结果只是部分的屏幕截图）

![1342948265_5539.png][]

**5.正则表达式(RE)**

由于上面涉及到很到正则表达式的匹配问题。下面对Python中的RE使用进行简单的演示和说明。下面给出一段，我测试用的code：

**\[python\]** [ view plain][view plain] [copy][view plain]

1.  import re    
2.      
3.  text = "JGood is a handsome booy, he is cool, clever, and so on..."    
4.  regex1 = re.match(r"\\w\*oo\\w\*", text)    
5.  if regex1:    
6.      print "regex1:" , regex1  
7.      print "result1:" ,regex1.group(0)    
8.  else:    
9.      print 'not match'  
10. print "\\n"  
11.   
12. regex2 = re.compile(r'(\\w\*oo\\w\*)')  
13. print "result2:" , regex2.findall(text)  
14. print "\\n"  
15.   
16. regex3 = re.compile(r'(\\w\*oo\\w\*).+?(\\w\*eve\\w\*).\*')  
17. regex3\_result = regex3.search(text)  
18. if regex3\_result:   
19.     print "regex3:", regex3  
20.     print " result3:",regex3\_result.group(1)," ",regex3\_result.group(2)  
21. else:  
22.     print 'not match'

程序的运行结果：

![1343140237_8847.png][]

下面简单的讲解一下：

regex1是通过match方法进行匹配，match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；regex2是通过findall，查找所有满足的匹配；regex3是通过search匹配整个字符串，直到找到一个匹配。

对于regex3\_result.group(1),regex3\_result.group(2)是什么意思呢，我搞了半天才弄明白。group(i)表示匹配的正则表达式"()"中的内容。如regex3\_result.group(1)表示匹配的正则表达式中第一个()内的内容，regex3\_result.group(2)表示匹配的正则表达式中第二个“()”的对应的字符串。group(0)表示整个表达式。group是从左向右计数的，从1开始。组可以被嵌套。计数的数值可以通过从左到右计算打开的括号数来确定。

再给出一个小例子，一目了然：

**\[python\]** [ view plain][view plain] [copy][view plain]

1.  \#!python  
2.  >>> p = re.compile('(a(b)c)d')  
3.  >>> m = p.match('abcd')  
4.  >>> m.group(0)  
5.  'abcd'  
6.  >>> m.group(1)  
7.  'abc'  
8.  >>> m.group(2)  
9.  'b'

**6.如何判断网络连接**

有的软件如果需要访问网络，这时我们就需要定时地检测网络的连接，下面的代码给出了如何检测网络连接：当连接时返回1；当网络断掉时返回0。原理就是通过http去请求网页，如果能够请求到则网络正常，如果请求出现异常则网络断掉。

**\[python\]** [ view plain][view plain] [copy][view plain]

1.  def check\_network():  
2.      import httplib2  
3.      try:  
4.          http = httplib2.Http()  
5.          resp, content = http.request("[http://www.baidu.com][http_www.baidu.com]")  
6.      except:  
7.          return 0  
8.      return 1

[Python_]: http://blog.csdn.net/lianxiang_biancheng/article/details/7772487
[Python]: http://blog.csdn.net/lianxiang_biancheng/article/category/1188052
[Link 1]: http://blog.csdn.net/lianxiang_biancheng/article/category/1169744
[Link 2]: http://blog.csdn.net/lianxiang_biancheng/article/details/7772487#comments
[Link 3]: http://blog.csdn.net/lianxiang_biancheng/article/details/7772487#report
[http_docs.python.org_library_index.html]: http://docs.python.org/library/index.html
[http_code.google.com_p_httplib2_downloads_list]: http://code.google.com/p/httplib2/downloads/list
[http_code.google.com_p_httplib2_wiki_Examples]: http://code.google.com/p/httplib2/wiki/Examples
[1343015697_7819.png]: https://img-my.csdn.net/uploads/201207/23/1343015697_7819.png
[1343015711_8374.png]: https://img-my.csdn.net/uploads/201207/23/1343015711_8374.png
[view plain]: http://blog.csdn.net/lianxiang_biancheng/article/details/7772487#
[http_weibo.com]: http://weibo.com/
[http_._-_0-9A-Za-z]: http://%29]*[.%5C-_0-9A-Za-z]+
[http_s.weibo.com_weibo_computer_Refer_STopic_box]: http://s.weibo.com/weibo/computer&Refer=STopic_box
[http_fengchao.baidu.com]: http://fengchao.baidu.com
[1346421120_6944.png]: https://img-my.csdn.net/uploads/201208/31/1346421120_6944.png
[http_pypi.python.org_pypi_lxml_2.3]: http://pypi.python.org/pypi/lxml/2.3
[http_www.baidu.com]: http://www.baidu.com
[http_news.baidu.com]: http://news.baidu.com
[http_tieba.baidu.com]: http://tieba.baidu.com
[http_zhidao.baidu.com]: http://zhidao.baidu.com
[http_mp3.baidu.com]: http://mp3.baidu.com
[http_image.baidu.com]: http://image.baidu.com
[http_video.baidu.com]: http://video.baidu.com
[http_map.baidu.com]: http://map.baidu.com
[1343139952_7793.png]: https://img-my.csdn.net/uploads/201207/24/1343139952_7793.png
[www.baidu.com_http_get_3_2_xpath_3]: http://www.baidu.com%E8%BF%9B%E8%A1%8Chttp%E7%9A%84get%E8%AF%B7%E6%B1%82%EF%BC%8C%E7%84%B6%E5%90%8E%E5%B0%86%E7%9B%B8%E5%BA%94%E7%9A%84%E9%A1%B5%E9%9D%A2%E7%BB%93%E6%9E%9C%E8%BF%9B%E8%A1%8C%E5%88%86%E6%9E%90%E3%80%82%E8%BF%99%E9%87%8C%E6%88%91%E4%BD%BF%E7%94%A8%E4%BA%863%E7%A7%8D%E6%96%B9%E5%BC%8F%E8%BF%9B%E8%A1%8C%E9%A1%B5%E9%9D%A2%E5%88%86%E6%9E%90%EF%BC%8C%E5%89%8D2%E7%A7%8D%E6%96%B9%E5%BC%8F%E4%B8%BA%E4%BD%BF%E7%94%A8xpath%E6%8F%90%E5%8F%96%EF%BC%8C%E7%AC%AC3%E7%A7%8D%E6%96%B9%E5%BC%8F%E4%B8%BA%E9%80%9A%E8%BF%87%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F%E5%8C%B9%E9%85%8D%E6%8F%90%E5%8F%96%E3%80%82%E7%A8%8B%E5%BA%8F%E4%B8%AD%E6%9C%89%E8%AF%A6%E7%BB%86%E7%9A%84%E6%B3%A8%E9%87%8A%E3%80%82
[www.baidu.com]: http://www.baidu.com%E4%B8%AD%E7%9A%84%E6%89%80%E6%9C%89%E9%93%BE%E6%8E%A5%EF%BC%8C%E5%B9%B6%E6%89%93%E5%8D%B0%E5%87%BA%E6%9D%A5%E3%80%82
[1342948265_5539.png]: https://img-my.csdn.net/uploads/201207/22/1342948265_5539.png
[1343140237_8847.png]: https://img-my.csdn.net/uploads/201207/24/1343140237_8847.png