使用Scrapy爬取我主良缘所有图片

落日映苍穹つ 2023-10-11 13:39 44阅读 0赞

目标网址：[http://www.7799520.com/jiaoyou.html][http_www.7799520.com_jiaoyou.html]

## 一 创建项目： ##

scrapy startproject 项目名(我这里是wzlySpider)

进入创建好的wzlySpider 目录文件下

### 创建爬虫文件 ###

scrapy genspider wzly www.7700520.com

![1568603-20190712172630666-2092045445.png][]

注意：`genspider`命令会使用Scrapy默认的爬虫模板创建爬虫文件，当然这个文件也可以自己编写，但是推荐使用命令创建。

##  二 编写爬虫 ##

创建好爬虫后，使用编辑器打开项目中的爬虫文件进行编写：

wzly.py 爬虫文件

# -*- coding: utf-8 -*-
    import scrapy
    import json
    
    
    class WzlySpider(scrapy.Spider):
        name = 'wzly'
        allowed_domains = ['7799520.com']
    
        # 这里使用列表推导式
        start_urls = [f'http://www.7799520.com/api/user/pc/list/search?marry=1&page={page}' for page in range(1, 100)]
    
        # 解析响应
        def parse(self, response):
            html = response.text
            # 转换json格式
            json_data = json.loads(html)
            # 获取信息  返回是列表
            for i in json_data["data"]["list"]:
                # i 是个字典
                img_url = i["avatar"]
                item = {
                    "img_url": img_url
                }
                yield item

### 重点 ###

*  `name`是爬虫的名字，是在`genspider`的时候指定的。
 *  `allowed_domains`是爬虫能抓取的域名，爬虫只能在这个域名下抓取网页，可以不写。
 *  start\_urls是Scrapy抓取的网站，是可迭代类型，当然如果有多个网页，列表中写入多个网址即可，常用列表推导式的形式。
 *  parse称为回调函数，该方法中的response就是`start_urls`网址发出请求后得到的响应。当然也可以指定其他函数来接收响应

编写 pipelines.py 管道文件

import scrapy
    
    from scrapy.pipelines.images import ImagesPipeline
    from scrapy.exceptions import DropItem
    
    
    class wzlyImagePipeline(ImagesPipeline):
    
        def get_media_requests(self, item, info):
            yield scrapy.Request(item["img_url"])
    
        def item_completed(self, results, item, info):
            image_path = [x['path'] for ok, x in results if ok]
            if not image_path:
                raise DropItem("该Item没有图片")
            return item

设置 settings.py 配置文件

1、激活管道文件

ITEM_PIPELINES = {
       'wzlySpider.pipelines.wzlyImagePipeline': 300,
    }

注意：300 表示执行顺序 ，一般为0-1000，数字越小执行顺序越大

2、配置保存图片信息

IMAGES_STORE = r'D:\\wzly'    # 图片存储路径
    IMAGES_EXPIRES = 90             # 过期天数
    IMAGES_MIN_HEIGHT = 100         # 图片的最小高度
    IMAGES_MIN_WIDTH = 100          # 图片的最小宽度

## 三 运行爬虫 ##

在 `/wzlySpider` 目录下运行`scrapy crawl wzly` 即可运行爬虫项目。运行截图如下：

![1568603-20190712174543991-630695309.png][]

更多详细信息，请参考：[Scrapy官方文档][Scrapy]

转载于:https://www.cnblogs.com/renshaoqi/p/11177569.html

[http_www.7799520.com_jiaoyou.html]: http://www.7799520.com/jiaoyou.html
[1568603-20190712172630666-2092045445.png]: https://img2018.cnblogs.com/blog/1568603/201907/1568603-20190712172630666-2092045445.png
[1568603-20190712174543991-630695309.png]: https://img2018.cnblogs.com/blog/1568603/201907/1568603-20190712174543991-630695309.png
[Scrapy]: https://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/media-pipeline.html