yield scrapy.Request()无效的几种情况

深碍√TFBOYSˉ_ 2022-03-06 04:26 479阅读 0赞

[scrapy][]错误：yield [scrapy][].Request()不执行、失效、Filtered offsite request to错误。首先我们在Request（）方法里面添加这么一个东东：  
  
yield Request(url, callback=self.parse\_item, dont\_filter=True)  
  
如果发现成功执行，那你就得检查一下你的：allowed\_domains，看看前面是不是添加了：http://  ，如（错误写法）：  
  
 allowed\_domains = \["http://www.baidu.com"\]  
  
正确写法：  
  
allowed\_domains = \["www.baidu.com"\]  
  
去掉之后，把dont\_filter=True也去掉，也能正常执行，其实这里是allowed\_domains和去重出现了冲突，scrapy allowed\_domains判断不严谨产生的问题，所以书写allowed\_domains的时候一定不要加：http://

其次 yield必须出现在response的方法内部 即必须成对使用

def parse\_link\_street(self, response):  
                    yield scrapy.Request(  
                        url='‘’  
                        meta=‘’,  
                        callback=‘’,  
                        dont\_filter=True  
                    )  
而不能出现如下情况

def parse\_link\_street(self):  
                    yield scrapy.Request(  
                        url='‘’  
                        meta=‘’,  
                        callback=‘’,  
                        dont\_filter=True  
                    )

[scrapy]: http://www.scrapyd.cn/

发表评论取消回复

表情：

评论列表（有 0 条评论，479人围观）

还没有评论，来说两句吧...

相关阅读

相关索引失效的几种情况

目录数据准备： 1、查询条件中有or，索引会失效； 2、like查询以%开头 3、如果类型为字符串，查询条件中数据需用引号引起来，否则不走索引； 4、索引列上参与计

太过爱你忘了你带给我的痛/ 2024年03月27日 18:37/ 0 赞/ 98 阅读

相关【缓存】Spring全家桶中@CacheEvict无效情况共有以下几种

Spring全家桶中@CacheEvict无效情况共有以下几种一、背景介绍二、原因分析三、解决方案一、背景介绍 SpringBoot中使

谁践踏了优雅/ 2024年02月20日 11:43/ 0 赞/ 39 阅读

相关 OnTrigger的几种情况

在Unity中，OnTrigger是一种用于处理碰撞事件的函数。它通常用于监测对象之间的触发器（Collider）交互，并在特定的情况下触发相应的逻辑。在Unity中，有以下几

ゝ一世哀愁。/ 2023年10月14日 10:51/ 0 赞/ 75 阅读

相关 @Transactional 无效的情况

1、使用在非public修改的方法。（例如：private protect） 2、使用了checkException,但是未添加@Transactional(rollback

叁歲伎倆/ 2023年06月23日 13:29/ 0 赞/ 11 阅读

相关 javascript 中的 this几种情况

全局的 this(浏览器) console.log(this.document === document); //true console.log(th

小咪咪/ 2022年12月13日 11:19/ 0 赞/ 228 阅读

相关 sql索引失效的几种情况

sql索引失效的几种情况 1、使用 != 或者 <> 导致索引失效 2、类型不一致导致索引失效 3、函数导致索引失效 4、运算符导致索引失效 5、模糊搜索

左手的ㄟ右手/ 2022年12月05日 13:54/ 0 赞/ 1220 阅读

相关 js内存泄露的几种情况

想解决内存泄露问题，必须知道什么是内存泄露，什么情况下出现内存泄露，才能在遇到问题时，逐个排除。这里只讨论那些不经意间的内存泄露。一、什么是内存泄露内存泄露是指一块被分

àì夳堔傛蜴生んèń/ 2022年07月13日 07:57/ 0 赞/ 242 阅读

相关【Linux】中管道的几种情况

第一种情况：关闭管道的读端和写端 include<stdio.h> include<string.h> include<unistd.h> i

清疚/ 2022年06月14日 00:10/ 0 赞/ 274 阅读

相关 MySQL索引失效的几种情况

今天项目需要，历史数据有一张表，数据量大概80W条左右，由于项目架构要求查询不能超过3秒，80万数据分页查询时候，时间大概在5秒左右，显然不达标，后来增加了索引，时间提升至50

朴灿烈づ我的快乐病毒、/ 2022年04月02日 16:35/ 0 赞/ 357 阅读

相关 yield scrapy.Request()无效的几种情况

[scrapy][]错误：yield [scrapy][].Request()不执行、失效、Filtered offsite request to错误。首先我们在Request

深碍√TFBOYSˉ_/ 2022年03月06日 04:26/ 0 赞/ 480 阅读