Scrapy中诡异xpath的匹配内容失效问题分析

怼烎@ 2022-05-25 02:23 132阅读 0赞

## 引言 ##

在爬虫的世界里，xpath是一种非常简单易用的匹配规则，方便我们在web世界里提取需要的各类信息。本文将讲述一个xpath规则无效的问题分析过程。

## 环境介绍 ##

Python 3.6.1 Scrapy 1.5.0

## 问题 ##

在选用xpath之时，都是基于firefox或者chrome中自带的Web开发工具来选取的。这里一般推荐使用chrome的devtool，功能强大，简单易用，童叟无欺，居家旅游必须良品呀。具体示意如下：  
![这里写图片描述][70]

### 基于xpath提取信息 ###

基于xpath提取的路径信息，示例如下：

> //\*\[@id=”SpanPlanSchoolInfo”\]/table\[2\]/tbody/tr\[3\]/td/table/tbody/tr\[2\]/td\[1\]/a

在Scrapy代码中使用如下：

def parse(self, response):
        xpath_url = '//*[@id="SpanPlanSchoolInfo"]/table[2]/tbody/tr[3]/td/table/tbody/tr[2]/td[1]/a'
        urls = response.xpath(xpath_url)
        .....

但是在实际执行中，却一直没有匹配到urls，根据实际上页面返回正常，同时数据也是正确可以匹配到的，那问题出现在哪里呢？

## 问题分析 ##

根据结果来分析，如果页面存在，但是没有正确的结果输出，则一定是xpath的问题，但是xpath问题是基于chrome自带的devtools工具copy而来的，怎么可能出错恩？真是让人想不透的问题…….  
在经过一番深入的反复尝试之后，主要是基于scrapy提供的强大的scrapy shell交互工具，可以帮助开发者快速地一步一步地定位问题。于是采取了逐步缩小xpath的方式，逐步定位问题，终于找到了问题的原因所在，那就是tbody是一个需要移除的tag标签。  
将正确的xpath设置为：

> //\*\[@id=”SpanPlanSchoolInfo”\]/table\[2\]/tr\[3\]/td/table/tbody/tr\[2\]/td\[1\]/a

## 问题总结 ##

虽然问题解决了，但是原因是什么呢？经过分析，主要是由于浏览器本身自动为table新增了tbody标签内容，但是在xpath中是不需要的，需要在进行xpath查询之时移除掉。

[70]: /images/20220525/8ce32f8c84044344b17713852b6dbd6d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，132人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL中的诡异锁问题：案例分析

在MySQL中，诡异的锁问题常常源于并发操作和锁机制的理解偏差。这里我们将通过一个具体的案例来详细分析。假设我们有一个简单的数据库表`orders`，包含以下字段： -

「爱情、让人受尽委屈。」/ 2025年01月06日 19:15/ 0 赞/ 4 阅读

相关 MySQL中的诡异数据丢失问题分析

在MySQL数据库中，有时会出现数据丢失的诡异现象。这可能由多种原因引起，以下是一些常见的分析方向： 1. **存储引擎错误**：不同的存储引擎有不同的特性，如InnoDB支

迷南。/ 2025年01月03日 22:51/ 0 赞/ 17 阅读

相关诡异的分页代码失效问题

前言：之前碰到了一个界面上分页失效的问题，并为之困扰了数日，后台定位为排序失效的问题，问题就迎刃而解了... 问题描述：在界面上的某个分页功能存在失效的问题，

系统管理员/ 2022年08月06日 01:16/ 0 赞/ 246 阅读

相关解决python3.6下scrapy中xpath.extract()匹配出来的内容转成json与.csv文件没有编码（unicode）的问题

初学scrapy，利用xpath对网页结构进行匹配，写的parse函数如下： def parse(self, response):

男娘i/ 2022年06月01日 10:49/ 0 赞/ 131 阅读

相关 Scrapy之迭代爬取网页中失效问题分析

引言问题的提出问题分析问题的解决总结引言在Scrapy中，在很多种情况下，需要一层层地进

比眉伴天荒/ 2022年05月25日 02:26/ 0 赞/ 181 阅读

相关 Scrapy中诡异xpath的匹配内容失效问题分析

引言在爬虫的世界里，xpath是一种非常简单易用的匹配规则，方便我们在web世界里提取需要的各类信息。本文将讲述一个xpath规则无效的问题分析过程。环境介绍

怼烎@/ 2022年05月25日 02:23/ 0 赞/ 133 阅读

相关 scrapy:xpath string(.)非常注意问题

text = selector.xpath('//div[@span="ct"]/string(.)').extract_first() 写成这样是xpath语

女爷i/ 2022年05月15日 14:51/ 0 赞/ 190 阅读

相关 scrapy中xpath将某一个节点下的文本内容串起来

在爬取数据的时候碰到这样的情况 ![70][] 想要拿到红框里的东西 ![70 1][] 源码里面显示的是这样如果直接用text(),只能拿到的是单个li中的字符串

叁歲伎倆/ 2022年05月08日 10:22/ 0 赞/ 167 阅读

相关 [scrapy] scarpy+xpath与css：抓取页面内容

文章目录常用方法 css xpath python css css选择器举例 xp

曾经终败给现在/ 2022年03月21日 14:20/ 0 赞/ 214 阅读

相关 scrapy中的css,xpath快速测试

在编写爬虫时。我们经常要写css,xpath来对网页中的信息进行提取。由于刚开始学习，语法不够熟练，不能正确的提取网页信息，经常导致爬虫报错。在运行爬虫前，对我们提取网页信息的

╰半夏微凉°/ 2021年09月23日 07:16/ 0 赞/ 250 阅读