Scrapy学习笔记-Scrapy例子和quotes网页分析

落日映苍穹つ 2023-05-22 04:50 28阅读 0赞

为了向您展示Scrapy带来了什么，我们将使用最简单的运行爬虫的方法向您介绍Scrapy Spider的示例。  
将下面代码放在文本文件中，将其命名为quotes\_spider.py之类的名称，然后使用runspider命令运行程序：scrapy runspider quotes\_spider.py -o quotes.json

import scrapy
    
    class QuotesSpider(scrapy.Spider):
        name = 'quotes'
        start_urls = [
            'http://quotes.toscrape.com/tag/humor/',
        ]
    
        def parse(self, response):
            for quote in response.css('div.quote'):
                yield { 
                    'author': quote.xpath('span/small/text()').get(),
                    'text': quote.css('span.text::text').get(),
                }
    
            next_page = response.css('li.next a::attr("href")').get()
            if next_page is not None:
                yield response.follow(next_page, self.parse)

完成此操作后，您将在quotes.json文件中具有JSON格式的引号列表，其中包含文本和作者，如下所示（此处重新格式化以提高可读性）：

[{
        "author": "Jane Austen",
        "text": "\u201cThe person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.\u201d"
    },
    {
        "author": "Groucho Marx",
        "text": "\u201cOutside of a dog, a book is man's best friend. Inside of a dog it's too dark to read.\u201d"
    },
    {
        "author": "Steve Martin",
        "text": "\u201cA day without sunshine is like, you know, night.\u201d"
    },
    ...]

查看start\_urls：http://quotes.toscrape.com/tag/humor/的源代码，看看网页的结构。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]  
在head标签中，引入了两个css文件，一个是bootstrap，还有一个是自定义的css样式。在body中一个作为container的div和一个footer。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 1]  
在整个作为container的div中有两个div和一个h3标签。第一个div作为一个header box。从源码可以看出包含Quotes to Scrape的div和包含Login的div，使用了col-md-x的class样式。  
![在这里插入图片描述][20200416111626976.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 2]  
上面的页面就是下面HTML所展示的，左侧的是指定class是col-md-8的这个div，右侧的是指定class是col-md-4的这个div。  
![在这里插入图片描述][20200416112555684.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 3]  
这里左侧的每个条目对应于右侧中指定class为quote的div.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 4]  
详细看第一条条目的div的HTML源码，由两个span和一个div组成。第二个span中包含了指定了author的class，内容是作者信息。最后一个div中指定了class为tag的链接。  
看代码中的xpath和css中的’span/small/text()‘和’span.text::text’，可以看到起指定的是span标签下的small标签所包含的作者信息，另一个指定的是有text的class修饰的span中包含的文本内容。

'author': quote.xpath('span/small/text()').get(),
     'text': quote.css('span.text::text').get(),

下面的HTML显示了Top Ten Tags的结构：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 5]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]: /images/20230521/e8419060f25d449b8bd49d459b6f70e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 1]: /images/20230521/c9de41a98a5c492c96d3d1200c088f6a.png
[20200416111626976.png]: /images/20230521/ac59fc4500d2479cacb21220ce074f20.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 2]: /images/20230521/6ae8c0bfb04e44b7b73256ad6c7708cb.png
[20200416112555684.png]: /images/20230521/dd528c81fd5f4796bd7e1d5cb2a9d04b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 3]: /images/20230521/b9cdb65cd9314b498193b5b72a4e610d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 4]: /images/20230521/30a3346046864bf3b829f1d2ab406def.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 5]: /images/20230521/935687d526a145f59a5bf016219fc2bf.png