Python scrapy框架教学（三）：scrapy.Spider

深碍√TFBOYSˉ_ 2022-11-06 11:59 254阅读 0赞

Spider 类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。

对spider来说，爬取的循环类似下文:

1.  以初始的URL初始化Request，并设置回调函数。 当该request下载完毕并返回时，将生成response，并作为参数传给该回调函数。

spider中初始的request是通过调用 start\_requests()来获取的。 start\_requests() 读取 start\_urls 中的URL，并以parse 为回调函数生成 Request。

1.  在回调函数内分析返回的(网页)内容，返回 Item 对象或者 Request 或者一个包括二者的可迭代容器。 返回的Request对象之后会经过Scrapy处理，下载相应的内容，并调用设置的callback函数(函数可相同)。
2.  在回调函数内，您可以使用 选择器(Selectors) (您也可以使用BeautifulSoup, lxml 或者您想用的任何解析器) 来分析网页内容，并根据分析的数据生成item。
3.  最后，由spider返回的item将被存到数据库(由某些 Item Pipeline处理)或使用 Feed exports存入到文件中。

虽然该循环对任何类型的spider都(多少)适用，但Scrapy仍然为了不同的需求提供了多种默认spider。 之后将讨论这些spider。

**Python爬虫、数据分析、网站开发等案例教程视频免费在线观看**

https://space.bilibili.com/523606542

# [Python学习交流群：1039649593][Python_1039649593] #

# Spider #

scrapy.spider.Spider 是最简单的spider。每个其他的spider必须继承自该类(包括Scrapy自带的其他spider以及您自己编写的spider)。 其仅仅请求给定的 start\_urls / start\_requests ，并根据返回的结果(resulting responses)调用 spider 的 parse 方法。

# name #

定义 spider 名字的字符串(string)。spider 的名字定义了 Scrapy 如何定位(并初始化) spider ，所以其必须是唯一的。不过您可以生成多个相同的 spider 实例(instance)，这没有任何限制。 name 是 spider 最重要的属性，而且是必须的。

如果该 spider 爬取单个网站(single domain)，一个常见的做法是以该网站(domain)(加或不加后缀 )来命名 spider 。 例如，如果 spider 爬取 mywebsite.com ，该spider通常会被命名为 mywebsite 。

# allowed\_domains #

可选。包含了spider允许爬取的域名(domain)列表(list)。 当 OwsiteMiddleware 启用时， 域名不在列表中的URL不会被跟进。

# start\_urls #

URL 列表。当没有制定特定的 URL 时，spider 将从该列表中开始进行爬取。 因此，第一个被获取到的页面的 URL 将是该列表之一。 后续的 URL 将会从获取到的数据中提取。

# start\_requests() #

该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的第一个 Request。

当 spider 启动爬取并且未制定 URL 时，该方法被调用。 当指定了URL时，make\_requests\_from\_url() 将被调用来创建Request 对象。 该方法仅仅会被 Scrapy 调用一次，因此您可以将其实现为生成器。

该方法的默认实现是使用 start\_urls 的url生成 Request。

如果您想要修改最初爬取某个网站的Request对象，您可以重写(override)该方法。 例如，如果您需要在启动时以POST 登录某个网站，你可以这么写:

def start_requests(self): 
      return [scrapy.FormRequest("http://www.example.com/login",
                                 formdata={'user': 'john', 'pass': 'secret'}, 
                                 callback=self.logged_in)] 
    
    def logged_in(self, response): 
    ## here you would extract links to follow and return Requests for 
    ## each of them, with another callback 
      pass

# parse #

当response没有指定回调函数时，该方法是Scrapy处理下载的response的默认方法。

parse 负责处理response并返回处理的数据以及(/或)跟进的URL。 Spider 对其他的Request的回调函数也有相同的要求。

该方法及其他的Request回调函数必须返回一个包含 Request 及(或) Item 的可迭代的对象。

参数: response– 用于分析的response

**closed(reason）**

当spider关闭时，该函数被调用。

# 启动方式 #

# start\_urls #

start\_urls 是一个列表

# start\_requests #

使用 start\_requests() 重写 start\_urls ，要使用 Request() 方法自己发送请求：

def start_requests(self): 
      """重写 start_urls 规则""" 
      yield scrapy.Request(url='http://quotes.toscrape.com/page/1/', callback=self.parse)

# scrapy.Request #

scrapy.Request 是一个请求对象，创建时必须制定回调函数。

# 数据保存 #

可以使用 -o 将数据保存为常见的格式（根据后缀名保存）

支持的格式有下面几种：

*  json
 *  jsonlines
 *  jl
 *  csv
 *  xml
 *  marshal
 *  pickle

# 案例：Spider 样例 #

让我们来看一个例子:

## -*- coding: utf-8 -*- 
    import scrapy 
    
    class Quotes2Spider(scrapy.Spider): 
      name = 'quotes2' 
      allowed_domains = ['toscrape.com'] 
      start_urls = ['http://quotes.toscrape.com/page/2/'] 
      def parse(self, response): 
        quotes = response.css('.quote')
        for quote in quotes: 
          text = quote.css('.text::text').extract_first() 
          auth = quote.css('.author::text').extract_first() 
          tages = quote.css('.tags a::text').extract() 
          yield dict(text=text,auth=auth,tages=tages)

# url拼接 #

import urllib.parse 
    urllib.parse.urljoin('http://quotes.toscrape.com/', '/page/2/') 
    Out[6]: 'http://quotes.toscrape.com/page/2/' 
    urllib.parse.urljoin('http://quotes.toscrape.com/page/2/', '/page/3/') 
    Out[7]: 'http://quotes.toscrape.com/page/3/'

[Python_1039649593]: https://jq.qq.com/?_wv=1027&k=SBLaYU2c