Python爬虫之scrapy框架环境安装

阳光穿透心脏的1/2处 2022-09-04 01:46 294阅读 0赞

### 文章目录 ###

*  前言
 *  一. scrapy框架环境安装
 *  二. 创建一个scrapy工程

--------------------

# 前言 #

为什么要学习scrapy框架？  
框架是一个集成了很多功能，并且具有很强通用性的一个项目模板。  
scrapy框架就具有许多强大的功能，例如高性能的持久化存储操作，异步的数据下载操作，高性能的数据解析操作，还有分布式操作等等。  
总而言之，学习scrapy框架能让我们更加高效率的进行爬虫工作。

--------------------

# 一. scrapy框架环境安装 #

1.  下载[twisted异步模块][twisted]下载：  
    找对应的Python版本号下载，后面又64位和32位的选择  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvbTE5Nw_size_16_color_FFFFFF_t_70]  
    下载完解压到桌面  
    win+r  
    先 `cd desktop`  
    输入以下内容

pip install Twisted-20.3.0-cp38-cp38-win_amd64.whl

后面是你下载的文件名  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvbTE5Nw_size_16_color_FFFFFF_t_70 1]  
2. 依次安装模块

pip install wheel
    pip install pywin32
    pip install scrapy

安装完后输入 scrapy 显示下图表示安装成功  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvbTE5Nw_size_16_color_FFFFFF_t_70 2]

# 二. 创建一个scrapy工程 #

1.  创建一个scrapy工程

scrapy startproject 项目名

1.  创建一个爬虫文件

scrapy genspider 爬虫文件名 域名

1.  运行一个爬虫

scrapy crawl 爬虫名

![在这里插入图片描述][e22e7d3b1b9f4f0f906628eae1d80e14.png]  
spiders内是新建的爬虫文件

[twisted]: https://www.lfd.uci.edu/~gohlke/pythonlibs/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvbTE5Nw_size_16_color_FFFFFF_t_70]: /images/20220829/95dc43f75ec14593afe7952627369af6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvbTE5Nw_size_16_color_FFFFFF_t_70 1]: /images/20220829/3ca92b9fd8ee4769958715cbf6465bcb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvbTE5Nw_size_16_color_FFFFFF_t_70 2]: /images/20220829/db3f5d64a16f47f9956ab89817c2445d.png
[e22e7d3b1b9f4f0f906628eae1d80e14.png]: /images/20220829/d68a2f8b47624363ac7513358e34efd0.png