爬虫---Scrapy--管道--中间件--日志和配置文件

ゞ浴缸里的玫瑰 2022-12-24 08:55 169阅读 0赞

### 目录 ###

*   *  一：管道的使用：
     *   *  1：案例：抓取马场老师信息：
         *  2：数据存储到MongoDB数据库中：
     *  二：crawlspider爬虫：
     *   *  1： 创建crawlspider爬虫并且了解创建的爬虫样式：
         *  2：网易招聘爬虫:
     *  三：scrapy中间件：
     *   *  1：Downloader Middlewares默认的方法：
         *  2：定义一个实现随机User-Agent的下载中间件：
         *  3： 代理ip的使用：
         *  4：selenium的使用：
     *  四：scrapy的日志信息与配置：
     *  五：中国图书网爬虫

## 一：管道的使用： ##

*  1： process\_item(self,item,spider):实现对item的数据处理。
 *  2：open\_spider(self, spider)：在爬虫开启的时候仅执行一次。
 *  3：close\_spider(self, spider)：在爬虫关闭的时候仅执行一次。

### 1：案例：抓取马场老师信息： ###

描述：爬虫一旦开始，就创建一个名为itcast.json的文件，然后爬虫得到响应后将item数据由引擎交给数据管道中。数据管道中将item数据写入到itcast.json文件中。最后爬虫结束后，关闭并保存文件。  
管道

# 1: 定义爬虫的管道类
    import json
    class MyspiderPipeline:
        # 方法名和参数名固定的
        def open_spider(self, spider):
            """第一次执行爬虫会执行该函数
            :param spider:爬虫对象
            :return:
            """
            if spider.name == "itcast":
                self.f = open("itcast.json", "w", encoding="utf-8")
    
        def process_item(self, item, spider):
            """
            :param item: 数据，是引擎将爬虫模块的传递过来的[模型类或者字典]
            :param spider:爬虫对象，spider.name根据不同的爬虫名，做不同的处理
            :return:
            """
            if spider.name == "itcast":
                print("爬虫名称：{}===============>".format(spider.name))
                item_dict = dict(item)
                json_str = json.dumps(item_dict, ensure_ascii=False, indent=4)
                self.f.write(json_str + ",\n")
            return item
    
        def close_spider(self, spider):
            """爬虫完全结束的时候调用该方法
            :param spider:
            :return:
            """
            if spider.name == "itcast":
                self.f.close()

爬虫：

import scrapy
    class ItcastSpider(scrapy.Spider):
        # 爬虫的名字，用来启动爬虫和区分爬虫
        name = 'itcast'
        # 爬虫允许爬取的域名范围
        allowed_domains = ['itcast.cn']
        # 爬虫起始的url地址：Scrapy框架底层会帮我构建请求，发送请求获取响应对象。
        start_urls = ['http://www.itcast.cn/channel/teacher.shtml']
    
        def parse(self, response):
            """解析url地址返回的响应对象"""
            # 响应对象，可以直接执行xpath语法，提取二进制文本数据： response.body
            li_list = response.xpath("//div[@class='tea_con']//ul//li")
            for li in li_list:
                item = {
        }
                item['name'] = li.xpath(".//h3/text()").extract_first()
                item['level'] = li.xpath(".//h4/text()").extract_first()
                item['text'] = li.xpath(".//p/text()").extract_first()
    
                # 将数据交付给引擎，再由引擎传递到数据管道中。
                yield item

### 2：数据存储到MongoDB数据库中： ###

class ItcastMongodbPipeline(object):
    
        def open_spider(self, spider):
            """启动爬虫时调用
            :param spider:
            :return:
            """
            if spider.name == "itcast":
                # 1: 创建mongodb客户端对象
                client = MongoClient()
                # 2：创建数据库和表（此时没有创建，增加第一次数据时创建）
                self.collection = client['python39']['itcast']
    
        def process_item(self, item, spider):
            """存储item对象到数据库对象
            :param item: 模型类对象/字典
            :param spider:
            :return:
            """
            # 1：将模型类对象转换成字典
            item_dict = dict(item)
            # 2: 插入多条数据：
            self.collection.insert_one(item_dict)
            print("插入数据库成功！！！")
            return item

pipeline使用注意点：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70]

## 二：crawlspider爬虫： ##

*  思路：使用之前的 spider我们只能够自己构建请求，再次发送。使用crawlspider后，我们发送第一次请求，如果在响应中，根据我们指定的规则能够拿到url，则crawlspider，会直接再次发送请求，再次获取响应。

### 1： 创建crawlspider爬虫并且了解创建的爬虫样式： ###

*  1：创建的格式：`scrapy genspider -t crawl 爬虫名 爬虫范围域名`
 *  2：三个参数参看下图。
 *  3：连接提取器LinkExtractor中的allow对应的正则表达式匹配的是href属性的值。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 1]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 2]
 *  4： 注意点：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 3]
 *  5：crawlspider其他知识点：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 4]

### 2：网易招聘爬虫: ###

import scrapy
    from scrapy.linkextractors import LinkExtractor
    from scrapy.spiders import CrawlSpider, Rule
    # 47.107.160.99
    
    class JobSpider(CrawlSpider):
        name = 'job'
        allowed_domains = ['163.com']
        start_urls = ['https://hr.163.com/position/list.do']
        # 元祖/列表
        rules = (
            # 详情页
            Rule(LinkExtractor(allow=r'/position/detail.do\?id=\d+'), callback='parse_item'),
            # 下一页
            Rule(LinkExtractor(allow=r'\?currentPage=\d+'), follow=True),
        )
    
        def parse_item(self, response):
            item = {
        }
            item['date'] = response.xpath("//p[@class='post-date']/text()").extract_first()
            print(item)
            yield item

## 三：scrapy中间件： ##

*  1: 中间件分为下载中间件和爬虫中间件。两个作用相同都是拦截请求和响应。
 *  2：中间件的作用：header和cookie的处理，代理ip,定制化请求和响应。
 *  3：中间件需要在middlewares.py中进行配置。

### 1：Downloader Middlewares默认的方法： ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 6]

### 2：定义一个实现随机User-Agent的下载中间件： ###

1： 在settings配置文件中增加User-Agent列表：

USER_AGENTS_LIST = [
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
        "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
        "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
        "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
        "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5"
    ]

2：在middlewaare中间件中设置：

import random
    from .settings import USER_AGENTS_LIST
    class QianQianAgentMiddleware(object):
    
        def process_request(self, request, spider):
            """拦截请求对象
            :param request:请求对象
            :param spider:爬虫对象
            :return:不要返回任何值，这样才能传递到下载中间件中。
            """
            if spider.name == "qianqian_music":
                # 在User-Agent列表中，随机选取一个User-Agent
                user_agent = random.choice(USER_AGENTS_LIST)
                # 设置User-Agent
                request.headers['User-Agent'] = user_agent
    
    class QianQianResponseMiddleware(object):
    
        def process_response(self, request, response, spider):
            """拦截响应对象检测随机的UA
            :param request:
            :param response:
            :param spider:
            :return:
            """
            if spider.name == "qianqian_music":
                UA = request.headers['User-Agent']
                print("+++++++++++++++++++++++", UA)
            # 必须返回响应对象，响应对象将传入优先级更低的中间件或者传入parse解析函数中。
            return response

3：在配置文件中指定中间件:

DOWNLOADER_MIDDLEWARES = {
        
       'myspider.middlewares.QianQianAgentMiddleware': 543,
        'myspider.middlewares.QianQianResponseMiddleware': 545,
    }

4: 测试：发现确实是随机生成的UA。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 7]

### 3： 代理ip的使用： ###

1: 在middleware.py中设置：

class ProxyMiddleware(object):
        def process_request(self, request, spider):
            """拦截请求对象，设置代理ip
            :param request:
            :param spider:
            :return: 无需返回内容
            """
            if spider.name == "qianqian_music":
                proxy_ip = "http://49.4.67.31:3128"
                request.meta['proxy'] = proxy_ip

2： settings中设置：

DOWNLOADER_MIDDLEWARES = {
        
       'myspider.middlewares.QianQianAgentMiddleware': 543,
        'myspider.middlewares.QianQianResponseMiddleware': 545,
        'myspider.middlewares.ProxyMiddleware': 588,
    }

### 4：selenium的使用： ###

## 四：scrapy的日志信息与配置： ##

## 五：中国图书网爬虫 ##

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70]: /images/20221120/c3c5f59369ea4db8965ab47b47d10eff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201127200515899.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201127201345814.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201127204217944.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201127204641270.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20201127210750320.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20201127211209499.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20201127214557823.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70