scrapy整合sqlite3方式

- 日理万妓 2022-02-24 11:24 266阅读 0赞

class Baidustreet02Pipeline(object):
        def __init__(self, sqlite_file, sqlite_table):
            self.sqlite_file = sqlite_file
            self.sqlite_table = sqlite_table
    
        @classmethod
        def from_crawler(cls, crawler):
            # 相当于sqlite_file付给了这个类，self中可以得到
            return cls(
                sqlite_file=crawler.settings.get('SQLITE_FILE'),  # 从 settings.py 提取
                sqlite_table=crawler.settings.get('SQLITE_TABLE', 'items')
            )
    
        def open_spider(self, spider):
            logging.info("********任务开启时间**********" + str(time.time()))
            self.conn = sqlite3.connect(self.sqlite_file)
            self.cur = self.conn.cursor()
    
        def close_spider(self, spider):
            logging.info("********任务结束时间**********" + str(time.time()))
            self.conn.close()
    
        def process_item(self, item, spider):
            self.cur = self.conn.cursor()
            insert_sql = "insert into {0}({1}) values ({2})".format(self.sqlite_table,
                                                                        ', '.join(item.keys()),
                                                                        ', '.join(['?'] * len(item.keys())))
            mytuple = tuple(item.values())
            try:
                self.cur.execute(insert_sql, mytuple)
            except sqlite3.Error as why:
                logging.info(why.args[0])
            self.conn.commit()
            self.cur.close()
            return item

发表评论取消回复

表情：

评论列表（有 0 条评论，266人围观）

还没有评论，来说两句吧...

相关阅读

相关 sqlite3教程：命令行方式打开sqlite3数据库

如果你想在命令行中连接SQLite数据库，可以按照以下步骤进行操作：第一种方式 1. 打开终端或命令提示符。 2. 进入SQLite命令行界面：在终

刺骨的言语ヽ痛彻心扉/ 2024年02月27日 03:30/ 0 赞/ 77 阅读

相关 Sqlite3

SQLite库包含一个名字叫做sqlite3的命令行,它可以让用户手工输入并执行面向SQLite数据库的SQL命令。本文档提供一个样使用sqlite3的简要说明. 一.Sq

Myth丶恋晨/ 2024年02月18日 19:35/ 0 赞/ 60 阅读

相关数据库(SQLITE3函数总结): sqlite3_open, sqlite3_exec, slite3_close,sqlite3_prepare_v2,sqlite3_column_text,

Sqlite3 的确非常好用。小巧、速度快。近期研究它，有一些收获，这里把我对 sqlite3 的研究列出来，以备忘记。导入SQLLite library并引入头文件.

怼烎@/ 2023年10月18日 14:07/ 0 赞/ 177 阅读

相关 SpringBoot整合SQLite

> SQLite是一个进程内的库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。它是一个零配置的数据库，这意味着与其他数据库不一样，您不需要在系统中配置

朴灿烈づ我的快乐病毒、/ 2023年10月07日 20:57/ 0 赞/ 8 阅读

相关 Mybatis-SQLite整合

1.项目层级关系 2.Mybatis.xml文件 <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="

你的名字/ 2022年12月23日 13:25/ 0 赞/ 187 阅读

相关 springboot通过mybatis整合sqlite3

首先你可以下载一个客户端，用于操作sqlite 地址：https://www.sqlite.org/download.html 找到对应版本，可以通过客户端创建表

怼烎@/ 2022年11月26日 01:49/ 0 赞/ 544 阅读

相关 Mybatis-SQLite整合

1.项目层级关系 ![Image 1][] 2.Mybatis.xml文件 <?xml version="1.0" encoding="UTF-8"?>

╰+哭是因爲堅強的太久メ/ 2022年07月15日 13:27/ 0 赞/ 120 阅读

相关 sqlite3

python3 manage.py dbshell 用户名:xiaojing@silence.com.cn 密码:xiaojing fr

Love The Way You Lie/ 2022年05月25日 05:20/ 0 赞/ 223 阅读

相关 scrapy整合sqlite3方式

class Baidustreet02Pipeline(object): def __init__(self, sqlite_file, sqlite_

- 日理万妓/ 2022年02月24日 11:24/ 0 赞/ 267 阅读

相关 scrapy 保存到 sqlite3

scrapy 爬取到结果后，将结果保存到 sqlite3，有两种方式 item Pipeline Feed Exporter 方式一使用 item Pi

r囧r小猫/ 2022年02月05日 12:29/ 0 赞/ 248 阅读