scrapy中设置IP代理池（自定义IP代理池）

朱雀 2022-04-06 19:24 734阅读 0赞

首先主要的就是你应该对scrapy目录结构，有一个相对清晰的认识，至少有过一个demo

一、手动更新IP池

1.在`settings`配置文件中新增IP池:

IPPOOL=[
        {"ipaddr":"61.129.70.131:8080"},
        {"ipaddr":"61.152.81.193:9100"},
        {"ipaddr":"120.204.85.29:3128"},
        {"ipaddr":"219.228.126.86:8123"},
        {"ipaddr":"61.152.81.193:9100"},
        {"ipaddr":"218.82.33.225:53853"},
        {"ipaddr":"223.167.190.17:42789"}
    ]

2.修改中间件文件`middlewares.py`

import random
    from scrapy import signals
    from myproxies.settings import IPPOOL
    
    class MyproxiesSpiderMiddleware(object):
    
          def __init__(self,ip=''):
              self.ip=ip
           
          def process_request(self, request, spider):
              thisip=random.choice(IPPOOL)
              print("this is ip:"+thisip["ipaddr"])
              request.meta["proxy"]="http://"+thisip["ipaddr"]

3.在`settings`中设置`DOWNLOADER_MIDDLEWARES`

DOWNLOADER_MIDDLEWARES = {
    #    'myproxies.middlewares.MyCustomDownloaderMiddleware': 543,
         'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware':543,
         'myproxies.middlewares.MyproxiesSpiderMiddleware':125
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，734人围观）

还没有评论，来说两句吧...

相关阅读

相关 Scrapy ip代理池

一、概述在众多的网站防爬措施中，有一种是根据ip的访问频率进行限制，即在某一时间段内，当某个ip的访问次数达到一定的阀值时，该ip就会被拉黑、在一段时间内禁止访问。

墨蓝/ 2022年12月11日 09:27/ 0 赞/ 279 阅读

相关自建免费的代理IP池

动态设置ip代理爬取西刺免费代理IP def crawl_ips(): headers = { "User-Agent":"Mozilla/5.

旧城等待，/ 2022年12月09日 00:37/ 0 赞/ 330 阅读

相关 scrapy中设置IP代理池（自定义IP代理池）

首先主要的就是你应该对scrapy目录结构，有一个相对清晰的认识，至少有过一个demo 一、手动更新IP池 1.在`settings`配置文件中新增IP池: IP

朱雀/ 2022年04月06日 19:24/ 0 赞/ 735 阅读

相关 Java实现Ip代理池

设置Ip代理很多时候都会有用到，尤其是在写爬虫相关项目的时候。虽然自己目前没有接触这种需求，但由于最近比较闲，就写着当作练习吧爬取代理IP 爬取关于爬

迷南。/ 2022年03月25日 11:18/ 0 赞/ 322 阅读

相关基于Scrapy的IP代理池搭建

目录一、为什么要搭建爬虫代理池二、搭建思路三、搭建代理池 items.py kuai\_proxy.py middlewares.py pipelines.

左手的ㄟ右手/ 2022年01月31日 04:15/ 0 赞/ 349 阅读

相关 IP代理池检测代理可用性

目录项目代码 utils.py settings.py proxy\_queue.py check\_proxy.py 运行方法 ------------

淡淡的烟草味﹌/ 2022年01月28日 08:57/ 0 赞/ 469 阅读

相关 IP代理池

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 在爬取网站时，经常会遇到ip被封禁，导致爬虫无法正常工作

本是古典何须时尚/ 2022年01月13日 12:59/ 0 赞/ 947 阅读

相关【爬虫】IP代理池的总结、实现与维护，IP代理池小工具（小框架），自建代理ip池

最近开始着手总结以前做过的工作，写过的代码。今天总结了以前写过的代理池维护模块，首先阐述一下个人理解的代理池：代理池代理池就是用于应付网站的反爬虫的备用代理ip

清疚/ 2021年12月20日 08:15/ 0 赞/ 457 阅读

相关【scrapy ip代理池】如何解决ip被限制的问题

1、首先写一个脚本proxies.py 自动获取代理ip \ \-\ coding:utf-8 \-\ import requests from bs4 import

太过爱你忘了你带给我的痛/ 2021年10月14日 02:24/ 0 赞/ 433 阅读

相关 scrapy接入IP代理池（代码部分）

> 记录一个比较完整的通过ip池进行爬虫被禁的处理 class HttpProxymiddleware(object): 一些异常情况

Love The Way You Lie/ 2021年06月24日 15:59/ 0 赞/ 532 阅读