Scrapy+Selenium爬取动态渲染网站

喜欢ヅ旅行 2022-12-11 03:18 214阅读 0赞

# 一、概述 #

## 使用情景 ##

在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载的数据值

## 使用流程 ##

1. 重写爬虫文件的\_\_init\_\_()构造方法，在该方法中使用selenium实例化一个浏览器对象

2. 重写爬虫文件的closed(self,spider)方法，在其内部关闭浏览器对象,该方法是在爬虫结束时被调用.

3. 在settings配置文件中开启下载中间件

# 二、案例演示 #

这里以房天下为例，爬取楼盘信息，链接如下：

https://sh.newhouse.fang.com/house/s/a75-b91/?ctm=1.sh.xf_search.page.1

## 页面分析 ##

### 获取信息列表 ###

//*[@id="newhouse_loupai_list"]/ul/li//div[@class="nlc_details"]

它会获取20条信息

![64598d9fbb0a1a44c4819f2f081f9bed.png][]

### 获取名称 ###

//*[@id="newhouse_loupai_list"]/ul/li//div[@class="nlc_details"]//div[@class="nlcd_name"]/a/text()

结果如下：

![01302fb559e68ae422b1646c797ba17f.png][]

### 获取价格 ###

//*[@id="newhouse_loupai_list"]/ul/li//div[@class="nlc_details"]//div[@class="nhouse_price"]/span/text()

结果如下：

![22a46e63e4a477e69e22ad3cb3e0a078.png][]

注意：别看它只有18条，因为还有2条，价格没有公布，所以获取不到。因此，后续我会它一个默认值：价格待定

### 获取区域 ###

//*[@id="newhouse_loupai_list"]/ul/li//div[@class="relative_message clearfix"]//a/span/text()

结果如下：

![d861683b5b8c36d2a94ef17d2d8ec1a3.png][]

注意：别看它只有17条，因为还有3条，不在国内。比如泰国，老挝等。因此，后续我会它一个默认值：国外

### 获取地址 ###

//*[@id="newhouse_loupai_list"]/ul/li//div[@class="relative_message clearfix"]/div/a/text()

结果如下：

![8ed86e8dc3020db7acfc418cfc2e1b1f.png][]

注意：多了17条，为什么呢？因此地址有些含有大段的空行，有些地址还包含了区域信息。因此，后续我会做一下处理，去除多余的换行符，通过正则匹配出地址信息。

## 获取状态 ##

//*[@id="newhouse_loupai_list"]/ul/li//div[@class="nlc_details"]//span[@class="inSale"]/text()

结果如下：

![8f6f05114a4090748c88b3488de1d3c9.png][]

注意：少了4条，那是因为它的状态是待售。因此，后续我会做一下处理，没有匹配的，给定默认值。

## 项目代码 ##

通过以上页面分析出我们要的结果只会，就可以正式编写代码了。

### 创建项目 ###

打开Pycharm，并打开Terminal，执行以下命令

scrapy startproject fang
    cd fang
    scrapy genspider newhouse sh.newhouse.fang.com

在scrapy.cfg同级目录，创建bin.py，用于启动Scrapy项目，内容如下：

# ！/usr/bin/python3
    # -*- coding: utf-8 -*-
    #在项目根目录下新建：bin.py
    from scrapy.cmdline import execute
    # 第三个参数是：爬虫程序名
    execute(['scrapy', 'crawl', 'newhouse',"--nolog"])

创建好的项目树形目录如下：

./
    ├── bin.py
    ├── fang
    │   ├── __init__.py
    │   ├── items.py
    │   ├── middlewares.py
    │   ├── pipelines.py
    │   ├── settings.py
    │   └── spiders
    │       ├── __init__.py
    │       └── newhouse.py
    └── scrapy.cfg

修改newhouse.py

# -*- coding: utf-8 -*-
    import scrapy
    from scrapy import Request  # 导入模块
    import math
    import re
    from fang.items import FangItem
    from selenium.webdriver import ChromeOptions
    from selenium.webdriver import Chrome
    
    
    class NewhouseSpider(scrapy.Spider):
        name = 'newhouse'
        allowed_domains = ['sh.newhouse.fang.com']
        base_url = "https://sh.newhouse.fang.com/house/s/a75-b91/?ctm=1.sh.xf_search.page."
        # start_urls = [base_url+str(1)]
    
        # 实例化一个浏览器对象
        def __init__(self):
            # 防止网站识别Selenium代码
            options = ChromeOptions()
            options.add_argument("--headless")  # => 为Chrome配置无头模式
            options.add_experimental_option('excludeSwitches', ['enable-automation'])
            options.add_experimental_option('useAutomationExtension', False)
    
            self.browser = Chrome(options=options)
            self.browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
                "source": """
                                Object.defineProperty(navigator, 'webdriver', {
                                  get: () => undefined
                                })
                              """
            })
    
            super().__init__()
    
        def start_requests(self):
            print("开始爬虫")
            self.base_url = "https://sh.newhouse.fang.com/house/s/a75-b91/?ctm=1.sh.xf_search.page."
            url = self.base_url + str(1)
            print("url",url)
            # url = "https://news.163.com/"
            response = scrapy.Request(url, callback=self.parse_index)
            yield response
    
        # 整个爬虫结束后关闭浏览器
        def close(self, spider):
            print("关闭爬虫")
            self.browser.quit()
    
        # 访问主页的url, 拿到对应板块的response
        def parse_index(self, response):
            print("访问主页")
            # 获取分页
            # 查询条数
            ret_num = response.xpath('//*[@id="sjina_C01_47"]/ul/li[1]/b/text()').extract_first()
            # print("ret_num", ret_num, type(ret_num))
            # 计算分页，每一页20条
            jsfy = int(ret_num) / 20
            # 向上取整
            page_num = math.ceil(jsfy)
            # print("page_num",page_num)
    
            for n in range(1, page_num):
                n += 1
                # 下一页url
                url = self.base_url + str(n)
                print("url", url)
                # 访问下一页，有返回时，调用self.parse_details方法
                yield scrapy.Request(url=url, callback=self.parse_details)
    
        def parse_details(self, response):
            # 获取页面中要抓取的信息在网页中位置节点
            node_list = response.xpath('//*[@id="newhouse_loupai_list"]/ul/li//div[@class="nlc_details"]')
    
            count = 0
            # 遍历节点，进入详情页，获取其他信息
            for node in node_list:
                count += 1
                try:
                    # # 名称
                    nlcd_name = node.xpath('.//div[@class="nlcd_name"]/a/text()').extract()
    
                    if nlcd_name:
                        nlcd_name = nlcd_name[0].strip()
    
                    print("nlcd_name", nlcd_name)
    
                    # # # 价格
                    price = node.xpath('.//div[@class="nhouse_price"]/span/text()').extract()
                    # print("原price",price,type(price))
                    if price:
                        price = price[0].strip()
    
                    if not price:
                        price = "价格待定"
    
                    print("price", price)
    
                    # 区域
                    region_ret = node.xpath('.//div[@class="relative_message clearfix"]//a/span/text()').extract()
                    region = ""
                    if region_ret:
                        # if len(region) >=2:
                        region_ret = region_ret[0].strip()
                        # 正则匹配中括号的内容
                        p1 = re.compile(r'[\[](.*?)[\]]', re.S)
                        region = re.findall(p1, region_ret)
                        if region:
                            region = region[0]
    
                    # print("region",region)
                    # # # # 地址
                    address_str = node.xpath('.//div[@class="relative_message clearfix"]/div/a/text()').extract()
                    address = ""
                    # 判断匹配结果，截取地址信息
                    if address_str:
                        if len(address_str) >= 2:
                            address_str = address_str[1].strip()
                        else:
                            address_str = address_str[0].strip()
    
                    # print("address_str", address_str)
    
                    # 判断地址中，是否含有区域信息，比如[松江]
                    p1 = re.compile(r'[\[](.*?)[\]]', re.S)  # 最小匹配
                    address_ret = re.findall(p1, address_str)
    
                    if address_ret:
                        # 截图地区
                        region = address_ret[0]
                        # 地址拆分
                        add_cut_str = address_str.split()
                        # 截取地址
                        if add_cut_str:
                            address = add_cut_str[1]
                    else:
                        address = address_str
                        # 为空时，表示在国外
                        if not region_ret:
                            region = "国外"
    
                    print("region", region)
                    print("address", address)
    
                    # # # 状态
                    status = node.xpath('.//span[@class="inSale"]/text()').extract_first()
                    # status = node.xpath('.//div[@class="fangyuan pr"]/span/text()').extract_first()
                    if not status:
                        status = "待售"
    
                    print("status", status)
    
                    # item
                    item = FangItem()
                    item['nlcd_name'] = nlcd_name
                    item['price'] = price
                    item['region'] = region
                    item['address'] = address
                    item['status'] = status
                    yield item
                except Exception as e:
                    print(e)
    
            print("本次爬取数据: %s条" % count)

修改items.py

# -*- coding: utf-8 -*-
    
    # Define here the models for your scraped items
    #
    # See documentation in:
    # https://docs.scrapy.org/en/latest/topics/items.html
    
    import scrapy
    
    
    class FangItem(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
        nlcd_name = scrapy.Field()
        price = scrapy.Field()
        region = scrapy.Field()
        address = scrapy.Field()
        status = scrapy.Field()

修改pipelines.py

# -*- coding: utf-8 -*-
    
    # Define your item pipelines here
    #
    # Don't forget to add your pipeline to the ITEM_PIPELINES setting
    # See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
    import json
    
    class FangPipeline(object):
        def __init__(self):
            # python3保存文件 必须需要'wb' 保存为json格式
            self.f = open("fang_pipline.json", 'wb')
    
        def process_item(self, item, spider):
            # 读取item中的数据 并换行处理
            content = json.dumps(dict(item), ensure_ascii=False) + ',\n'
            self.f.write(content.encode('utf=8'))
    
            return item
    
        def close_spider(self, spider):
            # 关闭文件
            self.f.close()

注意：这里为了方便，保存在一个json文件中。当然，也可以设置保存到数据库中。

修改settings.py，应用pipelines

ITEM_PIPELINES = {
       'fang.pipelines.FangPipeline': 300,
    }

执行bin.py，启动爬虫项目，效果如下：

![07d7364ea0201971691d391389424bc1.png][]

查看文件fang\_pipline.json，内容如下：

![d914128b008d74d823684c688d7fe675.png][]

注意：本次访问的页面，只有6页，每页20条结果。因此可以获取到120条信息。

本文参考链接：

[https://www.cnblogs.com/bk9527/p/10504883.html][https_www.cnblogs.com_bk9527_p_10504883.html]

[64598d9fbb0a1a44c4819f2f081f9bed.png]: /images/20221123/9ed34a3322dd41bcb39e7baae0895c96.png
[01302fb559e68ae422b1646c797ba17f.png]: /images/20221123/ab3f08e1105b45d29d20e7cea8492476.png
[22a46e63e4a477e69e22ad3cb3e0a078.png]: /images/20221123/6d95e312ecb54fbe89bc17c79bc98e09.png
[d861683b5b8c36d2a94ef17d2d8ec1a3.png]: /images/20221123/4e017209c9af45e2ad78120d6d59d636.png
[8ed86e8dc3020db7acfc418cfc2e1b1f.png]: /images/20221123/273cec7b74e649ee836261cb8eb5cf66.png
[8f6f05114a4090748c88b3488de1d3c9.png]: /images/20221123/d351207c4ccf4ad69c0d342eede391f6.png
[07d7364ea0201971691d391389424bc1.png]: /images/20221123/7b4dac66907142aabb68ff0bf4e6955d.png
[d914128b008d74d823684c688d7fe675.png]: /images/20221123/b207b84cb3564a1fabbfaa61a90f1755.png
[https_www.cnblogs.com_bk9527_p_10504883.html]: https://www.cnblogs.com/bk9527/p/10504883.html