利用Python的scrapy框架爬取手游排行前几名的手游信息

快来打我* 2022-06-12 14:52 333阅读 0赞

# 初学scrapy框架 #

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

有关于scrapy的教学与基础知识这里不做解释，感兴趣的同学可以去访问

http://scrapy-chs.readthedocs.io/zh\_CN/1.0/intro/overview.html（此为中文教程，版本有点过时，但语法基本相同）

接下来进入正题：

所用的版本为Python3.6.1 scrapy为1.4.0

次篇实例会用到xpath（可在此网站学习http://www.runoob.com/xpath/xpath-syntax.html）与正则表达式，如果对其不了解的同学，建议先学

## 1、建立一个scrapy工程（此命令在dos下输入） ##

scrapy startproject AppGame

然后cd AppGame

## 2、在\\AppGame\\AppGame\\spiders的目录下建立一个文件Appgame.py，此为spider文件，也就是定义爬虫的爬取规则的文件 ##

代码如下：

'''  
please in here defined yours spider  
define crawler rules  
  
  
'''  
import scrapy  
  
\#下为导入的item类，后面会讲到  
from AppGame.items import AppgameItem  
  
  
class Myfilm(scrapy.Spider):  
 name="game"  
 allowed\_domains=\["anfensi.com"\]\#域名  
 start\_urls = \['http://www.anfensi.com/top/wangyou/',  
 'http://www.anfensi.com/top/wangyou/2.html'\]  
  
  
  
  
 def parse(self,response):  
\#response是一个html响应对象可以用xpath规则进行解析

\#这里我们需要分析一下http://www.anfensi.com/top/wangyou/这个网页的html，用Google的开发者工具查看

![Center][]  
从上面可以看出游戏名称都是位于div元素id="tp5"的ul下的li元素下i下的a元素中

但是我们发现游戏的类型和标签都是位于u元素下的a元素中，那么我们就需要用到正则表达式来匹配，类型的都为/game/开头

而标签的为/tag/开头，所以用不同的正则表达式来完成

Topgame=response.xpath('//div\[@id="tp5"\]/ul/li')  
 for each\_game in Topgame:  
 item= AppgameItem()

\#存储游戏名字在item的name属性下  
 item\['name'\]=each\_game.xpath('./i/a/text()').extract()\[0\]

item\['type'\]=each\_game.xpath('./i/u/a\[re:test(@href,"/game/.+")\]/text()').extract()\[0\]

\#因为后面没有\[0\]，所以返回的是一个列表，不是字符串，所以下面将其转换为字符串  
 listlabel=each\_game.xpath('./i/u/a\[re:test(@href,"/tag/.+")\]//text()').extract()  
 item\['label'\]=str(listlabel)  
 yield item

## 3、接下来就是定义一个item文件，在AppGame\\AppGame目录下编写item.py文件，也可以自己建立一个item文件 ##

代码如下：

import scrapy  
  
  
\#item类似于字典  
  
class AppgameItem(scrapy.Item):  
\# define the fields for your item here like:  
\# name = scrapy.Field()

\#游戏名字  
name = scrapy.Field()

\#游戏的类型  
type=scrapy.Field()

\#游戏的标签  
label=scrapy.Field()

## 4、定义pipeline，在AppGame\\AppGame目录下编写pipeline.py文件，也可以自己建立一个pipeline文件 ##

\# -\*- coding: utf-8 -\*-  
  
  
\# Define your item pipelines here  
\#  
\# Don't forget to add your pipeline to the ITEM\_PIPELINES setting  
\# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html  
  
  
  
  
class AppgamePipeline(object):  
def process\_item(self, item, spider):  
with open ("my\_games.txt",'a',encoding="utf-8") as f:  
f.write(item\['name'\]+ '\\n')  
f.write(item\['type'\]+ '\\n')  
f.write(item\['label'\]+ '\\n')

## 5、定义setting文件，在AppGame\\AppGame目录下编写setting.py文件 ##

加入下面代码：

ITEM\_PIPELINES = \{'AppGame.pipelines.AppgamePipeline':100\}

后面的100为优先级，越小优先级越高

## 6、然后直接运行 ##

scrapy crawl game

这里的‘game’，就是 Appgame.py文件中定义的name的值，运行如下

![Image 1][]![Center 1][]

当然没有全部截取

最后找到在pipeline中我们写入的文件my\_games.txt，打开可以看到下面

![Image 1][]![Center 2][]

我们可以发现RPG（角色扮演）类型的游戏占多数。

完成。

希望这篇博文对你有所帮助

[Center]: /images/20220612/7725730ae8ae42f0a1110e7f21c97f80.png
[Image 1]: 
[Center 1]: /images/20220612/756cb3f049514c33b2efd616e2294459.png
[Center 2]: /images/20220612/a9f3dbc47c804f61a12c019883b60024.png