爬虫(4)ProxyHandler处理器(代理设置)

落日映苍穹つ 2021-07-25 01:29 432阅读 0赞

### 目录 ###

*  你问我为啥用代理?
 *  代理的使用
 *  常用的代理:
 *  总结:
 *   *  1.代理的原理:
     *  2.怎么查看我代理使用成功了没?
     *  怎么使用代理:

# 你问我为啥用代理? #

这问题问的好?如果可以不用,为啥偏偏要麻烦的使用代理呢?  
**其实啊,很多网站会检测某一时间某个ip的访问次数(通过流浪统计,系统日志等),如果访问次数多的不像正常人**(正常人谁会对着一个网页一分钟刷新个上百次???),**网站就会禁止这个ip的访问**(通俗的将就是拉进黑名单了,哎呀你们是不是想起了追女神给发100条消息,女神把你拉进黑名单)![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzQyMjIz_size_16_color_FFFFFF_t_70_pic_center]  
**言归正传,因此啊,我们可以设置一些代理服务器,每隔一段时间换一个代理,就算ip被禁止,依然可以换个ip继续使用**(一个人有多个微信号,一个微信号用一种方法撩女神?女神拉黑了就换个微信号?是这样理解的吧).**大家这样理解哈,虽然看起来很腹黑(不是看起来),但是有助于理解下面的代码和思想**  
![机智][20200411231855402.jpg_pic_center]  
**urllib中通过ProxyHandler来设置代理服务器,下面代码说明如何使用自定义opemer来使用代理:**

# 代理的使用 #

#encoding: utf-8
    from  urllib import request
    ''' 没有使用代理时,这里对外网的ip地址做一个查询,用来验证我们使用ip代理真的实现了ip的改变 url = 'http://httpbin.org/ip' # resp = request.urlopen(url) # print(resp.read()) '''
    #使用了代理
    url = 'http://httpbin.org/ip'
    # 1.使用ProxyHandler传入代理构建一个handler
    #handler相当于创建了一个微信号(当然可以创建多个,我们在这里只演示一个)
    handler = request.ProxyHandler({ "http":"113.109.213.148:8118"})#注意这里是字典格式的
    # 2.使用上面创建的handler构建一个opener
    #opener才是真正的发消息给女神
    opener = request.build_opener(handler)
    # 3.使用opener来发送请求
    resp = opener.open(url)
    print(resp.read())
    
    #发现了使用了代理之后,ip地址的确发生了改变

# 常用的代理: #

*  西刺免费代理ip:[http://www.xicidai.com/][http_www.xicidai.com]
 *  快代理:[http://www.kuaidaili.com/][http_www.kuaidaili.com]
 *  代理云;[http://www.dailiyun.com/][http_www.dailiyun.com]

回头看了看自己的这篇博客,感觉虽然博客的例子真的是生动(哈哈哈,给我整乐了),但是好像废话太多了(小白程序员提着刀在路上),所以下面的这部分对今天的内容做一个小总结,也方便自己以后复习的时候只需要看总结就行啦.

# 总结: #

## 1.代理的原理: ##

在请求目的网站之前,先请求代理服务器,然后让代理服务器去请求目的网站,代理服务器拿到目的网站的数据后,再转发给我们.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzQyMjIz_size_16_color_FFFFFF_t_70]

## 2.怎么查看我代理使用成功了没? ##

[http://httpbin.org][http_httpbin.org]这个网站可以方便的查看http请求的一些参数.

## 怎么使用代理: ##

在代码中使用代理:

*  使用`urllib.request.ProxyHandler`,传入一个代理,这个代理是一个字典,字典的key依赖于代理服务器能够接受的类型`http或者是https`,值是`ip:port`
 *  使用上一步创建的`handler`,以及`request.build_opener`创建一个`opener`
 *  使用上一步创建的`opener`,调用`open`函数,发起请求.

**对于这个第三步我这边再啰嗦几句:**  
我们在不使用代理时发送请求使用的方法是`request.urlopen`,其实它的内部实现也是和我们创建代理的步骤是一致的,只是使用了自己的ip地址而已,这里我们直接上源码.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzQyMjIz_size_16_color_FFFFFF_t_70 1]

**本文是我在学习爬虫视频时的一些笔记和自己的实战记录,如有侵权,联系我,会及时删除,另外如果有兄弟们要一起鼓励,一起学习,一起成长,一起头凉凉,欢迎关注我,一起监督一起成长**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzQyMjIz_size_16_color_FFFFFF_t_70_pic_center]: /images/20210724/f1ebd8d6731143a8b1f290a948bdd1f8.png
[20200411231855402.jpg_pic_center]: /images/20210724/33ed1e2ad6e84bf79836b57a6097a2bb.png
[http_www.xicidai.com]: http://www.xicidaili.com/
[http_www.kuaidaili.com]: http://www.kuaidaili.com/
[http_www.dailiyun.com]: http://www.dailiyun.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzQyMjIz_size_16_color_FFFFFF_t_70]: /images/20210724/fa85bfdc04be4beb9ddf9e1cb13a2431.png
[http_httpbin.org]: http://httpbin.org
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzQyMjIz_size_16_color_FFFFFF_t_70 1]: /images/20210724/89614bcef05f4cf782ef1a64dca62a47.png