scrapy提取数据之：xpath选择器 xpath选择属性值 text string 几种结果

野性酷女 2021-11-13 15:44 395阅读 0赞

css/ xpath选取文字

*  response.css("p::text").extract()
 *  response.xpath("//div\[@class='post-content'\]//text()").extract()

scrapy提取数据之：xpath选择器    [http://www.scrapyd.cn/doc/186.html][http_www.scrapyd.cn_doc_186.html]

<table> 
 <tbody> 
  <tr> 
   <th>表达式</th> 
   <th>描述</th> 
  </tr> 
  <tr> 
   <td>nodename</td> 
   <td>选取此节点的所有子节点。</td> 
  </tr> 
  <tr> 
   <td>/</td> 
   <td>从根节点选取。</td> 
  </tr> 
  <tr> 
   <td>//</td> 
   <td>从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。</td> 
  </tr> 
  <tr> 
   <td>.</td> 
   <td>选取当前节点。</td> 
  </tr> 
  <tr> 
   <td>..</td> 
   <td>选取当前节点的父节点。</td> 
  </tr> 
  <tr> 
   <td>@</td> 
   <td>选取属性。</td> 
  </tr> 
 </tbody> 
</table>

那我们要提取href就是：@href，试一下：

In \[1\]: response.xpath("@href")

response.xpath("//ol//@href")  
和css选择器一样我们还是用到了：extract（）、extract\_first()这两个函数，加上就可以提取纯粹的href值了，如下：  
In \[11\]: response.xpath("//ol\[@class='page-navigator'\]//@href").extract()

二、接下来我们提取标签里面的内容，表达式： //text()

**特别注意  是双反斜杠**  
response.xpath("//title//text()").extract()

**三、包含HTML标签的所有文字内容提取：string()**  
你会发现虽然能提取但是一个列表，不是整段文字：

In \[4\]: response.xpath("//div\[@class='post-content'\]//text()").extract()  
可看到我们没有使用：text()，而是用：string(要提取内容的标签)，这样的话就能把数据都提取出来了，而且都合成为一条，并非一个列表

热门后缀：全选.com.cn.net.org.info.com.cn.cc.top.me.xin中文后缀：全选.中国.公司.网络.商城.我爱你.网店自定义：请输入后缀，如：TV

转载于:https://www.cnblogs.com/stillstep/p/11100030.html

[http_www.scrapyd.cn_doc_186.html]: http://www.scrapyd.cn/doc/186.html