Python分别实现基于Request库和Scrapy框架对东方财富股票的爬取

朴灿烈づ我的快乐病毒、 2022-11-28 00:56 314阅读 0赞

#### 本文将讲述Request库和Scrapy框架实现网页的爬取 ####

# 一、首先我们来认识一下Request库和Scrapy框架 #

**Request库：Request库是Python公认的优秀的第三方网络爬虫库，能够实现自动爬取HTML页面，自动网络请求提交。  
Scrapy框架：功能强大，爬取快速的爬虫框架**

# 二、Request库和Scrapy框架的对比：Request VS Scrapy #

## 2.1 相同点 ##

1.  两者都可以进行页面请求和爬取，Python爬虫的两个主要技术路线
2.  两者可用性都好，文档丰富，入门简单
3.  两者都没有处理js、提交表单、应对验证码等功能（可扩展）

## 2.2 不同点 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center]

# 三、开始写代码 #

## 3.1 Request库实现对东方财富股票信息的爬取 ##

### 3.1.1 准备工作 ###

**首先安装好需要用到的Python第三方库**

1.  安装request库`pip install requests`
2.  安装beautifulsoup库`pip install beautifulsoup4`

### 3.1.2 代码实现 ###

import re
    import requests
    import traceback
    from bs4 import BeautifulSoup
    
    # 获得URL对应的页面
    def gethttptext(url,code='utf-8'):
        try:
            r=requests.get(url,timeout=30)
            r.raise_for_status()
            r.encoding=code
            #print(r.status_code)
            return r.text
        except:
            return ""
    
    # 获得股票的信息列表
    # list保存所以的股票信息
    #获取股票参数的URL网站
    def getstocklist(list,stockurl):
        # 获得HTML页面
        html=gethttptext(stockurl)
        # 解析页面
        soup=BeautifulSoup(html,'html.parser')
        a=soup.find_all('tr')
        # 用正则表达式找出股票信息
        for i in a:
            # 因为tr标签中不一定都符合正则表达式，所以用try来处理异常
            try:
                href=i.attrs['id']
                list.append(re.findall(r'[tr]\d{6}',href)[0])
            except:
                continue
    
    # 获得个股的股票信息
    # fpath股票信息的保存的路径
    def getstockinfo(list,stockurl,fpath):
        count=0
        for stock in list:
            # 形成访问个股信息的URL
            url=stockurl+stock[1:]+".html"
            html=gethttptext(url)
            try:
                if html=='':
                    continue
                infodict={ }
                # 解析网页
                soup=BeautifulSoup(html,'html.parser')
                stockinfo=soup.find('div',attrs={ 'class':'merchandiseDetail'})
    
                # 获得股票名称的信息
                name=stockinfo.find_all(attrs={ 'class':'fundDetail-tit'})[0]
                infodict.update({ '股票名称':name.text.split()[0]})
    
                # 获得股票信息的值
                keylist=stockinfo.find_all('dt')
                valuelist=stockinfo.find_all('dd')
                # 将获得的信息恢复为键值对，并存在列表中
                for i in range(len(keylist)):
                    key=keylist[i].text
                    val=valuelist[i].text
                    infodict[key]=val
                    
                # 将所有信息保存在文件中
                with open(fpath,'a',encoding='utf-8') as f:
                    f.write(str(infodict)+'\n')
                    count = count + 1
                    print('\r当前速度：{:.2f}%'.format(count*100/len(list)),end='')
    
            except:
                count = count + 1
                print('\r当前速度：{:.2f}%'.format(count * 100 / len(list)), end='')
                # 获取异常信息
                traceback.print_exc()
                continue
    
    if __name__=="__main__":
        # 获得股票列表的链接
        stock_list_url="https://fund.eastmoney.com/fund.html#os_0;isall_0;ft_;pt_1"
        # 获得取票信息链接的主题部分
        stock_info_url="https://fund.eastmoney.com/"
        # 保存的路径
        output_fire='D://BaiduStockInfo.txt'
        slist=[]
        getstocklist(slist,stock_list_url)
        getstockinfo(slist,stock_info_url,output_fire)

### 3.1.3 结果展示 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 1]

## 3.2 Scrapy框架实现对东方财富股票信息的爬取 ##

## 3.2.1 准备工作 ##

##### 1. 安装Scrapy库`pip install sctapy` #####

##### 2. 创建一个工程 #####

比如要在D盘的pycodes文件夹中存放一个名叫Python123demo的工程

###### （1） 打开cmd 进入pycodes文件夹 ######

###### （2） 输入`scrapy startproject 工程名` ######

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 2]

###### （3） 这是pycodes文件夹下就创建好了工程 ######

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 3]

###### （4） 对刚创建的工程文件Python123demo中的文件解释说明 ######

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 4]

##### 3. 在工程中产生一个Scrapy爬虫 #####

###### （1）再进入到刚创建的文件夹中 ######

###### （2）输入`scrapy genspider 爬虫名字 爬取的网址` ######

![在这里插入图片描述][20200816223624948.png_pic_center]  
注意：这条命令只是用来生成一个在spider文件下stocks.py的爬虫文件

###### （3）解释一下爬虫文件stocks.py中的内容 ######

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 5]

##### 4. 配置产生的Spider爬虫 #####

###### （1）将spider文件下的stocks.py配置为 ######

import scrapy
    import re
    
    
    class StocksSpider(scrapy.Spider):
        name = 'stocks'
        start_urls = ['http://quote.eastmoney.com/stock_list.html']
    
        def parse(self, response):
        	# 循环获取列表中a标签的链接信息
            for href in response.css('a::attr(href)').extract():
                try:
                	# 通过正则表达式获取链接中想要的信息
                    stock = re.findall(r"[s][hz]\d{6}", href)[0]
                    # 生成百度股票对应的链接信息
                    url = 'http://gu.qq.com/' + stock + '/gp'
                    # yield是生成器
                    #将新的URL重新提交到scrapy框架
                    # callback给出了处理这个响应的处理函数为parse_stock
                    yield scrapy.Request(url, callback=self.parse_stock)
                except:
                    continue
    
           # 定义如何存百度的单个页面中提取信息的方法
        def parse_stock(self, response):
        	# 因为每个页面返回 的是一个字典类型，所以定义一个空字典
            infoDict = { }
            stockName = response.css('.title_bg')
            stockInfo = response.css('.col-2.fr')
            name = stockName.css('.col-1-1').extract()[0]
            code = stockName.css('.col-1-2').extract()[0]
            info = stockInfo.css('li').extract()
            # 将提取的信息保存到字典中
            for i in info[:13]:
                key = re.findall('>.*?<', i)[1][1:-1]
                key = key.replace('\u2003', '')
                key = key.replace('\xa0', '')
                try:
                    val = re.findall('>.*?<', i)[3][1:-1]
                except:
                    val = '--'
                infoDict[key] = val
    
                # 对股票的名称进行更新
            infoDict.update({ '股票名称': re.findall('\>.*\<', name)[0][1:-1] + \
            							re.findall('\>.*\<', code)[0][1:-1]})
            yield infoDict

###### （2）将D:\\pycodes\\BaiduStocks\\BaiduStocks目录下的pipelines.py配置为 ######

# Define your item pipelines here
    #
    # Don't forget to add your pipeline to the ITEM_PIPELINES setting
    # See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
    
    
    # useful for handling different item types with a single interface
    # from itemadapter import ItemAdapter
    
    
    class BaidustocksInfoPipeline(object):
        def process_item(self, item, spider):
            return item
    
    class BaidustocksInfoPipeline(object):
    	# 当爬虫被调用时
        def open_spider(self, spider):
            self.f = open('gupiao.txt', 'w')
    
            # 当爬虫关闭时
        def close_spider(self, spider):
            self.f.close()
    
            # 对每一个item处理时
        def process_item(self, item, spider):
            try:
                line = str(dict(item)) + '\n'
                self.f.write(line) 
            except:
                pass
            return item

###### （3）将D:\\pycodes\\BaiduStocks\\BaiduStocks目录下的settings.py ######

添加一行

ITEM_PIPELINES = { 
        'BaiduStocks.pipelines.BaidustocksInfoPipeline': 300,
    }

或者找到ITEM\_PIPELINES = \{\}取消注释进行修改  
其中settings.py文件中要修改的字段  
![在这里插入图片描述][20200816225408908.png_pic_center]

取决于pipelines.py文件中的类名  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 6]

##### 5. 运行爬虫，获取网页信息 #####

cmd中输入`scrapy crawl 爬虫名`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 7]

##### 6. 结果展示 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 8]

## 以上就是本文所有内容，希望能帮到你！！！ ##

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/182e9c4156d94d5b89711888a2ee86b9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/66d165277ae74ff2a1fd9130e68c6653.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/2936a15ffab541edbebacc014dfacb9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221124/59bdcb64e575464e9bf813bf9dc993aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221124/2a6310bac89347718b38b6bbf3869a3f.png
[20200816223624948.png_pic_center]: /images/20221124/9ce8cb6bc8f5435e85cdf3dbb4a59af7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221124/3c965d8ff91946539762a8fbbb2b94df.png
[20200816225408908.png_pic_center]: /images/20221124/17c113c4243e4e959508709aee484dd3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221124/596214c3454547688c76c4e4de634399.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221124/23c2eefed8944f668024d1c8028f1a7a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ1MTYxNzY2_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221124/f590bf08b83a42a9b7e4ab40134e5dd7.png