[scrapy] pycharm开发scrapy - scrapy项目目录介绍

深藏阁楼爱情的钟 2022-03-22 05:19 341阅读 0赞

### 文章目录 ###

*  scrapy工程文件介绍
 *  开发scrapy步骤

# scrapy工程文件介绍 #

【scrapy工程文件介绍】

*  ArticleSpider
    
     *  ArticleSpider
        
         *  Spiders 存放具体某个网站的爬虫
            
             *  `__init__.py`
             *  `jobbole.py` 爬虫文件，使用命令`scrapy genspider jobbole blog.jobbole.com`生成
         *  `__init__.py`
         *  `items.py` 数据保存格式
         *  `middlewares.py` 存放自己定义的middleware
         *  `pipelines.py`数据存储
         *  `settings.py` 设置文件
     *  `scrapy.cfg` 配置文件

# 开发scrapy步骤 #

1.  【创建工程与虚拟环境】创建工程与Python虚拟环境  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70]
2.  【进入虚拟环境】进入刚才创建的Python虚拟环境  
    ![在这里插入图片描述][20190126095503542.png]
3.  【安装scrapy】运行命令`pip install -i https://pypi.douban.com/simple/ scrapy`安装scrapy  
    【提示】若中途发生失败，请手动安装失败的包https://blog.csdn.net/summer\_dew/article/details/79778559\#pip\_96
4.  【创建scrapy工程】：在当前目录下运行`scrapy startproject ArticleSpider`，新建scrapy工程（只是一个scrapy工程框架，里头没有spider的模板）  
    【说明】`scrapy startproject 工程名`。也可以自定义模板，默认模板："…\\lib\\site-packages\\scrapy\\templates\\project"  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 1]
5.  【创建spider】进入运行`ArticleSpider\ArticleSpider\spiders`下，运行命令`scrapy genspider jobbole blog.jobbole.com`，生成spider器  
    【说明】`scrapy genspider spider器的名称 爬取的目标域名`，在当前目录下生成spider文件  
    【结果】在Spiders/目录下生成了`jobbole.py`文件  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 2]
6.  【加入刚才创建的Python虚拟环境】  
    【步骤】`File-> setting-> Project:ArticleSpider-> Project Interpreter-> Add-> System Interpreter-> 选择D:\mycode\CrawlerForPython\scrapy\Python3Scrapy\Scripts\python.exe`
7.  【配置工程的解释器】  
    【步骤】`Add Configuration --> 左上方+号 --> Python`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 3]
8.  在ArticleSpider文件夹下创建main.py文件，用于scrapy调试  
    【背景】 Pycharm没有scrapy的模板，实际上是没有办法调试的  
    【技巧】 `新建一个main.py`，在文件中调用命令行  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 4]

# coding:utf-8
    from scrapy.cmdline import execute
    import sys
    import os
    # 设置工程路径
    sys.path.append(
    	os.path.dirname( #获取current_paths当前的文件夹目录
    		os.path.abspath( __file__ ) #获取__file__(当前py文件)的绝对路径
    	)
    )
    execute(["scrapy", "crawl", "jobbole"] ) #启动scrapy，相当于命令行scrapy crawl jobbole

1.  运行该main.py文件  
    【报错】ModuleNotFoundError: No module named ‘win32api’。则还需要`pypiwin32`模块 ，进入python虚拟环境运行：`pip install -i https://pypi.douban.com/simple pypiwin32`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 5]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70]: /images/20220322/a0853db13cd441e9b644553bfb669556.png
[20190126095503542.png]: /images/20220322/72af67b0edc743ec88bf5a986d071465.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 1]: /images/20220322/c4e5c9424cc94d018bb31c8bbd54db78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 2]: /images/20220322/9b6d5a4271d8464ba1c9a1390d835614.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 3]: /images/20220322/d99d9b22a6a94038bf0f841ca75ad77c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 4]: /images/20220322/d83641661f274853aa81e4f95bc70c7f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 5]: /images/20220322/7b4b4781c53b4404a66c4e378bbd89de.png