Python 实用爬虫-02-爬虫真正使用代理 ip

妖狐艹你老母 2022-05-15 14:28 350阅读 0赞

### Python 实用爬虫-02-爬虫真正使用代理 ip ###

*  因为这里呢，是实用爬虫，想要仔细学习一些基础的，可以去查看：
    
     *  Python 爬虫教程：[https://www.cnblogs.com/xpwi/category/1295282.html][https_www.cnblogs.com_xpwi_category_1295282.html]
 *  获取代理 ip 的网站：
    
     *  [www.goubanjia.com][]
     *  [www.xicidaili.com][]
 *  【注意事项】：
    
     *  \*\*1.如果测出来的 ip 是你本机的 ip，99% 的原因是：你找的代理 ip 不能用，更换其他 ip \*\*
     *  2.测 ip 的地址的地址可能会变，一般不会更新，万一是这个 url 失效，参照：[实用爬虫-01-检测爬虫的 IP][-01-_ IP]
 *  代码 [proxy.py][] 文件：[https://xpwi.github.io/py/spider/proxy.py][https_xpwi.github.io_py_spider_proxy.py]

# coding:utf-8
    # 爬虫使用代理IP
    
    from urllib import request,error
    
    if __name__ == '__main__':
    
        # 0.设置测 ip 的地址
        url = "http://2018.ip138.com/ic.asp"
        # 1.设置代理 ip，获取方法参照：https://www.cnblogs.com/xpwi/p/9600727.html
        proxy = {'http':'189.201.142.129:57815'}
        # 2.创建ProxyHandler
        proxy_handler = request.ProxyHandler(proxy)
        # 3.创建Opener
        opener = request.build_opener(proxy_handler)
        # 4.安装Opener
        request.install_opener(opener)
    
        # 下面再进行访问url就会使用代理服务器
        try:
            rsp = request.urlopen(url)
            html = rsp.read().decode('GBK')
            print(html)
    
        except error.HTTPError as e:
            print(e)
        except Exception as e:
            print(e)

### 运行结果 ###

![1483449-20180908225529621-2075630791.jpg][]

*  **墨西哥**

### 更多文章链接：[实用爬虫][Link 1] ###

--------------------

\- 本笔记不允许任何个人和组织转载

[https_www.cnblogs.com_xpwi_category_1295282.html]: https://www.cnblogs.com/xpwi/category/1295282.html
[www.goubanjia.com]: http://www.goubanjia.com
[www.xicidaili.com]: http://www.xicidaili.com
[-01-_ IP]: https://www.cnblogs.com/xpwi/p/9610887.html
[proxy.py]: http://proxy.py
[https_xpwi.github.io_py_spider_proxy.py]: https://xpwi.github.io/py/spider/proxy.py
[1483449-20180908225529621-2075630791.jpg]: /images/20220503/92624efbdadb4847940c6d71aa3c022c.png
[Link 1]: https://www.cnblogs.com/xpwi/category/1296535.html