Scrapy之AttributeError: 'str'/"list" object has no attribute 'xpath'问题分析

古城微笑少年丶 2022-05-17 11:37 185阅读 0赞

## 环境介绍 ##

Scrapy 1.5.1 , Python 3.6.5

## 问题描述 ##

在调用过程中，会报出以下错误信息：

'str' object has no attribute 'xpath'

在代码中，尝试对于Selector对象调用xpath方法，选取特定的Web元素节点。  
代码示例如下：

def parse_item(self, response):
            item_links = response.xpath('//*[@id="plist"]/ul/li'）.extract() 
            for link in item_links:
                sku_id = link.xpath('./div/@data-sku').extract_first()
                store_id = link.xpath('./div/@venderid').extract_first()
                print("process item: %s, item:%s" % ("process_item....", link))
                print("sku id:%s, store id:%s" % (sku_id, store_id))
         ......

## 问题分析 ##

extract()/extract\_first()方法本身都是用去提取节点的内容的，不是用来提取页面元素的Selector封装，所以无法对于这些提取的节点，使用xpath来做下一步的选取。  
所以修改的方法如下：

def parse_item(self, response):
            item_links = response.xpath('//*[@id="plist"]/ul/li') 
            for link in item_links:
                sku_id = link.xpath('./div/@data-sku').extract_first()
                store_id = link.xpath('./div/@venderid').extract_first()
                print("process item: %s, item:%s" % ("process_item....", link))
                print("sku id:%s, store id:%s" % (sku_id, store_id))
         ......

## 其他的情况 ##

除此之外，在所选择的的节点为None之时，也是非常容易出现类似xxx object has no attribute ‘xpath’的错误信息。

## 总结 ##

Scrapy支持非常良好的selet特性，方便基于xpath和selector来进行各类元素和属性的选取。