Scrapy爬取网页并保存到数据库中

小鱼儿 2022-07-15 07:11 291阅读 0赞

Scrapy爬取网页并保存到数据库中
    
    
    一.新建一个Scrapy工程。进入一个你想用来保存代码的文件夹，然后执行：
    T:\>scrapy startproject fjsen
    会生成一堆文件夹和文件：
    scrapy.cfg: 项目配置文件
    tutorial/: 项目python模块, 呆会代码将从这里导入
    tutorial/items.py: 项目items文件
    tutorial/pipelines.py: 项目管道文件
    tutorial/settings.py: 项目配置文件
    tutorial/spiders: 放置spider的目录
    
    
    二.定义Item
    比如我们要获得站点的名字，url和网站描述，我们定义这三种属性的域。
    编辑在tutorial目录下的items.py文件如下：
    
    from scrapy.item import Item, Field
    class FjsenItem(Item):
        # define the fields for your item here like:
        # name = Field()
        title=Field()
        link=Field()
        addtime=Field()
    
    三.建立一个Spider，你必须为scrapy.spider.BaseSpider创建一个子类，并确定三个主要的、强制的属性：
    name：爬虫的识别名，它必须是唯一的，在不同的爬虫中你必须定义不同的名字.
    start_urls：爬虫开始爬的一个URL列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些URLS开始。其他子URL将会从这些起始URL中继承性生成。
    parse()：爬虫的方法，调用时候传入从每一个URL传回的Response对象作为参数，response将会是parse方法的唯一的一个参数,
    这个方法负责解析返回的数据、匹配抓取的数据(解析为item)并跟踪更多的URL。
    
    
    在tutorial\spiders目录下新建一个fjsen_spider.py,内容如下：
    #-*- coding: utf-8 -*-
    from scrapy.spider import BaseSpider
    from scrapy.selector import HtmlXPathSelector
    from fjsen.items import FjsenItem
    class FjsenSpider(BaseSpider):
        name="fjsen"
        allowed_domains=["fjsen.com"]
        start_urls=['http://www.fjsen.com/j/node_94962_'+str(x)+'.htm' for x in range(2,11)]+['http://www.fjsen.com/j/node_94962.htm']
        def parse(self,response):
            hxs=HtmlXPathSelector(response)
            sites=hxs.select('//ul/li')
            items=[]
            for site in sites:
                item=FjsenItem()
                item['title']=site.select('a/text()').extract()
                item['link'] = site.select('a/@href').extract()
                item['addtime']=site.select('span/text()').extract()
                items.append(item)
            return items   
    
    
    四、将抓取到的数据存入数据库sqlite3中，修改pipelines.py如下：
    #-*- coding: utf-8 -*-
    from os import path
    from scrapy import signals
    from scrapy.xlib.pydispatch import dispatcher
    class FjsenPipeline(object):
    
        def __init__(self):
            self.conn=None
            dispatcher.connect(self.initialize,signals.engine_started)
            dispatcher.connect(self.finalize,signals.engine_stopped)
        def process_item(self,item,spider):
            self.conn.execute('insert into fjsen values(?,?,?,?)',(None,item['title'][0],'http://www.fjsen.com/'+item['link'][0],item['addtime'][0]))
            return item
        def initialize(self):
            if path.exists(self.filename):
                self.conn=sqlite3.connect(self.filename)
            else:
                self.conn=self.create_table(self.filename)
        def finalize(self):
            if self.conn is not None:
                self.conn.commit()
                self.conn.close()
                self.conn=None
        def create_table(self,filename):
            conn=sqlite3.connect(filename)
            conn.execute("""create table fjsen(id integer primary key autoincrement,title text,link text,addtime text)""")
            conn.commit()
            return conn
    
    五、修改setting.py这个文件：将下面这句话加进去
    ITEM_PIPELINES=['fjsen.pipelines.FjsenPipeline']
    
    六、运行命令
    T:\tutorial>scrapy crawl fjsen