scrapy下载中间设置

淡淡的烟草味﹌ 2022-05-23 03:57 219阅读 0赞

class ProxyMiddleWare(object):  
        """docstring for ProxyMiddleWare"""  
        def process_request(self,request, spider):  
            '''对request对象加上proxy'''  
            proxy = self.get_random_proxy()  
            print("this is request ip:"+proxy)  
            request.meta['proxy'] = proxy   
    
    
        def process_response(self, request, response, spider):  
            '''对返回的response处理'''  
            # 如果返回的response状态不是200，重新生成当前request对象 
            if response.status != 200:  
                proxy = self.get_random_proxy()  
                print("this is response ip:"+proxy)  
                # 对当前reque加上代理 
                request.meta['proxy'] = proxy   
                return request  
            return response  
    
        def get_random_proxy(self):  
            '''随机从文件中读取proxy'''  
            while 1:  
                with open('G:\\Scrapy_work\\myproxies\\myproxies\\proxies.txt', 'r') as f:  
                    proxies = f.readlines()  
                if proxies:  
                    break  
                else:  
                    time.sleep(1)  
            proxy = random.choice(proxies).strip()  
            return proxy

发表评论取消回复

表情：

评论列表（有 0 条评论，219人围观）

还没有评论，来说两句吧...

相关阅读

相关 Scrapy入门到放弃04：下载器中间件，让爬虫更完美

前言 MiddleWare，顾名思义，中间件。主要处理请求（例如添加代理IP、添加请求头等）和处理响应本篇文章主要讲述下载器中间件的概念，以及如何使用中间件和自定义中

心已赠人/ 2023年10月11日 15:58/ 0 赞/ 39 阅读

相关 Scrapy 爬取懒人图库（自定义下载中间件、selenium）

Scrapy 爬取懒人图库 1. 创建项目 2. 创建爬虫实例 3. 创建一个启动文件 start.py 4

墨蓝/ 2023年02月11日 10:26/ 0 赞/ 8 阅读

相关 scrapy对接selenium（下载中间件的使用）及 pyppetter对接方法集合

from scrapy import signals import pyppeteer import asyncio import os

怼烎@/ 2022年12月12日 13:45/ 0 赞/ 274 阅读

相关 scrapy框架——下载器中间件(Downloader Middlewares)

一、什么是下载器中间件？简单来说，下载器中间件就是引擎和下载器之间通信的中间件。主要目的用来更换请求头、设置代理IP来达到应对网站反爬的情况。

Love The Way You Lie/ 2022年09月14日 01:54/ 0 赞/ 195 阅读

相关 Scrapy框架(八)下载中间件(Downloader Middlewares)的使用

（1）前言先祭出框架图： ![70][] 下载中间件（Downloader Middlewares）位于scrapy引擎和下载器之间的一层组件。作用：

Myth丶恋晨/ 2022年05月27日 10:14/ 0 赞/ 201 阅读

相关 scrapy下载中间设置

class ProxyMiddleWare(object): """docstring for ProxyMiddleWare"""

淡淡的烟草味﹌/ 2022年05月23日 03:57/ 0 赞/ 220 阅读

相关 Python 爬虫，scrapy，Downloader Middleware，下载中间件

下载中间件可以在发送请求前对request对象进行处理(添加请求头，代理IP等)；也可以在返回响应前对response、request对象进行处理等。项目名/midd

缺乏、安全感/ 2022年03月25日 08:20/ 0 赞/ 247 阅读

相关 Scrapy中Download Middleware（下载器中间件）用法

下载器中间件是介于Scrapy的request/response处理的钩子框架。是用于全局修改Scrapy request和response的一个轻量、底层的系统。 Do

曾经终败给现在/ 2022年02月27日 07:06/ 0 赞/ 277 阅读

相关 Scrapy--下载器中间件(Downloader Middleware)

目录下载器中间件简介自定义下载器中间件 RandomUserAgentMiddleware RandomProxyMiddleware 激活下载器中间件内置下

秒速五厘米/ 2022年02月14日 02:49/ 0 赞/ 364 阅读

相关爬虫 scrapy图片下载

彼岸网图片下载 img.py -- coding: utf-8 -- import scrapy from imgPro.items

﹏ヽ暗。殇╰゛Y/ 2021年11月01日 02:54/ 0 赞/ 464 阅读