Python爬虫2------爬虫屏蔽手段之代理服务器实战

小灰灰 2021-09-30 04:30 378阅读 0赞

# #

## 1、代理服务器： ##

一个处于客户端与互联网中间的服务器，如果使用代理服务器，当我们浏览信息的时候，先向代理服务器发出请求，然后由代理服务器向互联网获取信息，再返回给我们。

![1338991-20180516125149619-1932167223.png][]

## 2、代码： ##

import urllib.request
    #proxy_addr="117.36.103.170:8118"，为代理服务器的IP和端口
    #url为要爬取数据的地址
    def use_proxy(url,proxy_addr):
        #采用ProxyHandler函数来设置代理服务器，函数参数为字典，字典的键为"http",值为代理服务器的IP地址，IP地址和端口可以在www.xicidaili.com中找。
        proxy=urllib.request.ProxyHandler({
        "http":proxy_addr})
        #建立opener,bulid_opener的第一个参数为proxy，第二个参数固定为urllib.request.HTTPHandler
        opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
        #将opener设置为全局，下面的操作就可以运用该opener了。
        urllib.request.install_opener(opener)
        data=urllib.request.urlopen(url).read().decode("utf-8","ignore")
        return data
    
    proxy_addr="125.118.79.44:6666"
    url="http://www.baidu.com"
    data=use_proxy(url,proxy_addr)
    print(len(data))

转载于:https://www.cnblogs.com/Lee-yl/p/9045454.html

[1338991-20180516125149619-1932167223.png]: /images/20210725/2f8a6e6cdffa4b1ba8621db95f85ef22.png

发表评论取消回复

表情：

评论列表（有 0 条评论，378人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python 爬虫入门实战

首先自我介绍一下，我是一个做 Java 的开发人员，从今年下半年开始，一直在各大技术博客网站发表自己的一些技术文章，差不多有几个月了，之前在 cnblog 博客园加了网站...

傷城~/ 2024年04月24日 23:28/ 0 赞/ 88 阅读

相关 Python爬虫之ip代理池

可能在学习爬虫的时候，遇到很多的反爬的手段，封ip 就是其中之一。对于封IP的网站。需要很多的代理IP，去买代理IP，对于初学者觉得没有必要，每个卖代

系统管理员/ 2023年10月11日 13:15/ 0 赞/ 80 阅读

相关数据之路 - Python爬虫 - 免费代理

西刺免费代理：[https://www.xicidaili.com/][https_www.xicidaili.com] 快代理：[https://www.kuaida

深碍√TFBOYSˉ_/ 2023年06月02日 11:52/ 0 赞/ 18 阅读

相关【Python爬虫】Requests库网络爬虫实战

1.京东商品页面爬取打开某一个京东页面 [https://item.jd.com/69336974189.html][https_item.jd.com_69336974

迷南。/ 2023年02月23日 07:57/ 0 赞/ 28 阅读

相关爬虫教程（ 2 ） --- 爬虫框架 Scrapy、Scrapy 实战

From：[https://piaosanlang.gitbooks.io/spiders/content/][https_piaosanlang.gitbooks.io

末蓝、/ 2022年11月27日 00:51/ 0 赞/ 624 阅读

相关【python爬虫】python使用代理爬虫例子

原文地址：http://www.cnblogs.com/bbcar/p/3424790.html 侵删 coding:utf-8 import u

爱被打了一巴掌/ 2022年07月16日 05:25/ 0 赞/ 284 阅读

相关 Python爬虫代理池

爬虫代理IP池 > 在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速

怼烎@/ 2022年07月14日 09:22/ 0 赞/ 235 阅读

相关 Python爬虫实战

引言网络爬虫是抓取互联网信息的利器，成熟的开源爬虫框架主要集中于两种语言Java和Python。主流的开源爬虫框架包括： 1.分布式爬虫框架：Nutch

素颜马尾好姑娘i/ 2022年06月16日 08:45/ 0 赞/ 371 阅读

相关 Scrapy爬虫实战：使用代理访问

Scapy爬虫实战：使用代理访问 Middleware 中间件设置代理 middlewares.py settings.py

冷不防/ 2022年04月11日 12:23/ 0 赞/ 376 阅读

相关 Python爬虫2------爬虫屏蔽手段之代理服务器实战

1、代理服务器：一个处于客户端与互联网中间的服务器，如果使用代理服务器，当我们浏览信息的时候，先向代理服务器发出请求，然后由代理服务器向互联网获取信息，再返

小灰灰/ 2021年09月30日 04:30/ 0 赞/ 379 阅读