python之urllib2是如何运用的?正确方法教你

末蓝、 2023-02-14 10:55 15阅读 0赞

![format_png][]

urlopen函数  
urllib2.urlopen(url\[, data\[, timeout\[, cafile\[, capath\[, cadefault\[, context\]\]\]\]\])  
注：  
url表示目标网页地址，可以是字符串，也可以是请求对象Request  
req= urllib2.Request(url, data,headers) response = urllib2.urlopen(req,timeout=3)  
data表示post方式提交给目标服务器的参数  
data = urllib.urlencode(data)

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>import&nbsp;urllib,urllib2&nbsp;&nbsp;</code> <code>action_url="http://www.xxxxxx.com/post"#用于测试post的网址，返回提交的数据&nbsp;&nbsp;</code> <code>values={'name':"alice",'age':20}&nbsp;&nbsp;</code> <code>data=urllib.urlencode(values)#对表单数据编码&nbsp;&nbsp;</code> <code>rqst=urllib2.Request(action_url,data)&nbsp;&nbsp;</code> <code>response=urllib2.urlopen(rqst)#模拟提交表单数据到url并获得响应</code> </td> 
 </tr> 
 </tbody> 
</table>

推荐学习《python教程》

timeout表示超时时间设置。  
返回值  
response.read()返回页面内容  
response.info()返回网页信息  
response.geturl()返回连接地址  
这个函数可以像urllib.urlopen()那样以url做参数。也能以Request实例为参数，即用一个Request对象（下文构造方法）来映射你提出的HTTP请求,在它最简单的使用形式中你将用你要请求的地址创建一个Request对象，这个Request对象中可以设置传输数据、headers等。通过调用urlopen并传入Request对象，将返回一个file-like对象。urllib2还提供了接口来处理一般情况，例如：基础验证，cookies,代理和其他，它们通过handlers和openers的对象实现。  
2、Request函数  
urllib2.Request(url\[, data\]\[, headers\]\[, origin\_req\_host\]\[, unverifiable\])  
用于构造Request对象，可以传递data数据，添加请求头（headers）等，构造好后作为urllib2.urlopen()的参数。  
注：  
url表示目标网页地址，可以是字符串，也可以是请求对象Request  
data表示post方式提交给目标服务器的参数  
headers表示用户标识，是一个字典类型的数据，有些不允许脚本的抓取，所以需要用户代理，像火狐浏览器的代理就是类似：Mozilla/5.0 (X11; U; Linux i686)Gecko/20071127 Firefox/2.0.0.11  
浏览器的标准UA格式为：浏览器标识 (操作系统标识; 加密等级标识; 浏览器语言) 渲染引擎标识 版本信息 ，headers默认是Python-urllib/2.6  
origin\_req\_host表示请求方的主机域名或者ip地址。  
headers = \{'User-Agent':'Mozilla/5.0 (X11; U; Linux i686)Gecko/20071127 Firefox/2.0.0.11'\}

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 </td> 
 <td> <code>import&nbsp;urllib&nbsp;&nbsp;&nbsp;</code> <code>import&nbsp;urllib2&nbsp;&nbsp;&nbsp;</code> <code>url&nbsp;=&nbsp;'http://www.weibo.cn/'&nbsp;&nbsp;&nbsp;</code> <code>user_agent&nbsp;=&nbsp;'Mozilla/4.0&nbsp;(compatible;&nbsp;MSIE&nbsp;5.5;&nbsp;Windows&nbsp;NT)'&nbsp;&nbsp;&nbsp;</code> <code>h&nbsp;=&nbsp;{&nbsp;'User-Agent'&nbsp;:&nbsp;user_agent&nbsp;}&nbsp;&nbsp;&nbsp;</code> <code>req&nbsp;=&nbsp;urllib2.Request(url,headers=h)&nbsp;&nbsp;&nbsp;</code> <code>response&nbsp;=&nbsp;urllib2.urlopen(req)&nbsp;&nbsp;&nbsp;</code> <code>print&nbsp;response.read()</code> </td> 
 </tr> 
 </tbody> 
</table>

3、build\_opener()  
build\_opener(\[handler1 \[ handler2, ... \]\])

urllib2.urlopen()函数不支持验证、cookie或者其它HTTP高级功能。要支持这些功能，必须使用build\_opener()函数创建自定义Opener对象。  
参数handler是Handler实例，常用的有HTTPBasicAuthHandler、HTTPCookieProcessor、ProxyHandler等。  
build\_opener ()返回的对象具有open()方法，与urlopen()函数的功能相同。  
如果要修改http报头，可以用：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>import&nbsp;urllib2&nbsp;&nbsp;</code> <code>opener&nbsp;=&nbsp;urllib2.build_opener()&nbsp;&nbsp;</code> <code>opener.addheaders&nbsp;=&nbsp;[('User-agent',&nbsp;'Mozilla/5.0')]&nbsp;&nbsp;</code> <code>opener.open('http://www.example.com/')</code> </td> 
 </tr> 
 </tbody> 
</table>

**最后注意**：光理论是不够的。这里顺便免费送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！  
本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzVkZWIzZGM4ODk2MjMzNTcuanBn?x-oss-process=image/format,png