使用Scrapy爬取一个网站的数据

朴灿烈づ我的快乐病毒、 2022-05-15 02:48 285阅读 0赞

## Scrapy框架的初步运用 ##

--------------------

上午刚配置好scrapy框架，下午我就迫不及待的做了一个小demo来测试一下，结果证明scrapy真是太强大了。我感觉等对它掌握到炉火纯青的地步后，就没有什么数据是爬不到的了，O(∩\_∩)O哈哈~。

--------------------

> 以下步骤是建立在成功安装并配置好scrapy的基础上的.

--------------------

### 1.新建一个Scrapy项目 ###

打开cmd控制台界面  
输入：**scrapy startproject myScrapy**

![创建scrapy工程][scrapy]

下面是创建的工程中所包含的文件：

![myspider的结构][myspider]

**\_\_init\_\_.py：项目的初始化文件；**  
**items.py:项目的目标文件**  
**pipelines.py:项目的管道文件**  
**settings.py:项目的设置文件**  
**spiders/:存放爬虫代码的文件**  
**spiders/\_\_init\_\_.py:爬虫的初始话文件**

### 2.定义Item ###

**Items**是保存爬取到的数据的容器，其使用方法和python字典类似， 它提供了额外保护机制来避免拼写错误导致的未定义字段错误，这类似与**ORM**中的映射关系。

这是**items.py**中的默认代码：

import scrapy
    
    class mySpiderItem(scrapy.Item):
        #name = scrapy.Field()    
        pass

我们对其进行修改：（我需要爬到数据为 **姓名**、**职业**和**详细信**

### 3.创建爬虫文件 ###

在 **spiders/** 下创建文件 **demo\_spider.py** .  
然后NotePad++打开该文件，添加如下代码：

import scrapy
    #引用mySpider目录下的item.py中的MyspiderItem
    from mySpider.items import MyspiderItem
    
    class Demo_Spider(scrapy.Spider):
        #爬虫名，该值必须唯一
        name = "demo"
        #爬虫的爬取域(我要拿传智的数据)
        allowed_domains = ["itcast.cn"]
        #起始的URL列表，也就是第一批请求的地址
        start_urls = [
            "http://www.itcast.cn/channel/teacher.shtml"
        ]
    
        #pase方法负责解析返回的数据response data、获得要提取的数据item，以及生成需要进一步处理URL的Request对象。
        def parse(self, response):
            #获取的数据集
            node_list = response.xpath("//div[@class='li_txt']")      
            for node in node_list:
                item = MyspiderItem()
                #.extract()将xpath对象转换为Unicode字符串
                name = node.xpath("./h3/text()").extract()
                title = node.xpath("./h4/text()").extract()
                info = node.xpath("./p/text()").extract()
                item['name'] = name[0]
                item['title'] = title[0]
                item['info'] = info[0]
    
                #yield ：获得一个item数据后暂停循环，然后将它交给管道，之后继续进行循环
                yield item

### 4.修改setting文件 ###

打开setting.py文件，修改ROBOTSTXT\_OBEY为false，避免某些网站禁止爬虫导致不能爬取数据。

# Obey robots.txt rules
    ROBOTSTXT_OBEY = False

取消ITEM\_PIPELINES的的注释，该项定义了管道的优先级，数值越小优先级越高

ITEM_PIPELINES = {
        'Tencent.pipelines.TencentPipeline': 300,
    }

### 5.修改管道执行文件 ###

这是默认的管道文件：

import json
    
    class MyspiderPipeline(object):    
        def process_item(self, item, spider):
           pass

我们修改它，如下：

import json
    
    class MyspiderPipeline(object):
        def __init__(self):
            self.f = open("demo.json","wb+")
    
        #该方法是必要的
        def process_item(self, item, spider):
            content = json.dumps(dict(item),ensure_ascii = False) + ",\n"
            self.f.write(content.encode("utf-8"))
            return item
    
        def colse_spider(self,spider):
            self.f.close()

添加**\_\_init\_\_**方法，管道事件第一次执行时，创建demo.json文件，并打开。

添加**colse\_spider**方法，管道事件结束时，关闭文件。

修改**process\_item**方法，将Demo\_Spider中获得的item数据存到demo.json文件中。

### 5.启动spider ###

在mySpider目录中,创建一个data文件夹，用来存放爬取的数据文件。

输入：**mkdir data**，然后：**cd data/**  
![新建文件夹][SouthEast]

使用命令：**scrapy crawl demo**  
![crawl命令][crawl]

可以看到，执行完成的详细信息。

![执行结果信息][SouthEast 1]

demo.json文件中获得了需要的数据。

![json数据集][json]

> 爬取网站数据的简单例子就这样完成了，相信深入学习之后，肯定能实现非常强大的抓取数据功能。
> 
> 转自：[https://blog.csdn.net/G\_Q\_L/article/details/76786811][https_blog.csdn.net_G_Q_L_article_details_76786811]

[scrapy]: /images/20220515/b5c1cbecaf234dad9f571e876cb909a0.png
[myspider]: /images/20220515/78e6b433a21b4e2e88b7cbcba3ef4c2a.png
[SouthEast]: /images/20220515/a01f3d42e7014b2a85c0c5ed5f87022a.png
[crawl]: /images/20220515/3b6454d2bd694de592ce62b48a77377e.png
[SouthEast 1]: /images/20220515/bcfb4c70117348e698e031c4e1f27859.png
[json]: /images/20220515/761ada4afab94dae915edcc9d8b03d90.png
[https_blog.csdn.net_G_Q_L_article_details_76786811]: https://blog.csdn.net/G_Q_L/article/details/76786811