scrapy 保存到mysql_scrapy爬虫保存数据到mysql

爱被打了一巴掌 2022-10-28 03:38 225阅读 0赞

直接上例子

\# -\*- coding: utf-8 -\*-

\#!/usr/bin/python3

\# Define your item pipelines here

\# Don't forget to add your pipeline to the ITEM\_PIPELINES setting

\# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html

import pymysql

from spiderman.env import \*

class SpidermanPipeline(object):

def \_\_init\_\_(self):

self.conn = pymysql.connect(

host=dbhost,

user=dbuser,

password=dbpass,

db=dbname,

charset='utf8mb4',

cursorclass=pymysql.cursors.DictCursor)

self.cursor = self.conn.cursor()

self.table = table\_pool

self.filters = \[

'测试',

'demo',

'pre-a',

'概念',

'天使',

'未',

'种子',

'不明确',

'上线',

'正在运营',

def process\_item(self, item, spider):

qsql = "select count(\*) from "+self.table+" where item\_id='"+item\['item\_id'\] + "' and item\_from='" + item\['item\_from'\] +"'"

self.cursor.execute(qsql) \# 返回受影响的行数

count = self.cursor.fetchone()\['count(\*)'\]

if count > 0:

print('\*\*\*\*\*\*\*\*\*\*\*数据重复！\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*')

return None

else:

sql = "INSERT INTO "+self.table+" (\`item\_id\`, \\

\`item\_name\`, \`item\_logo\`, \`item\_brief\`, \`item\_area\`, \\

\`item\_from\`, \`item\_CEO\`,\`item\_round\`,\`item\_phone\`,\\

\`item\_email\`,\`item\_weixin\`,\`item\_weibo\`,\`item\_website\`,\`item\_from\_website\`,\\

\`item\_address\`) \\

VALUES ('%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s') " % \\

(item\['item\_id'\],

item\['item\_name'\],

item\['item\_logo'\],

item\['item\_brief'\],

item\['item\_area'\],

item\['item\_from'\],

item\['item\_CEO'\],

item\['item\_round'\],

item\['item\_phone'\],

item\['item\_email'\],

item\['item\_weixin'\],

item\['item\_weibo'\],

item\['item\_website'\],

item\['item\_from\_website'\],

item\['item\_address'\])

for index,value in enumerate(self.filters):

if value in item\['item\_round'\].lower() and item\['item\_website'\]:

self.cursor.execute(sql)

self.conn.commit()

print(sql)

break

else:

continue

return item

def close\_spider(self,spider):

self.conn.close()

其中env.py文件为常量

\# -\*- coding: utf-8 -\*-

\#!/usr/bin/python3

dbuser = 'root'

dbpass = '123456'

dbname = 'testdb'

dbhost = '127.0.0.1'

dbport = '3306'

table\_pool='test'

scrapy 保存到mysql_scrapy爬虫保存数据到mysql

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 java保存json类型数据到mysql数据库，mysql保存json类型数据

相关 DataFrame数据保存到mysql数据库中

相关 scrapy 保存到mysql_scrapy爬虫保存数据到mysql

相关 Scrapy网络爬虫实战[保存为Json文件及存储到mysql数据库]

相关 Python爬虫：异步数据抓取并保存到Excel

相关 JDBC快速保存数据到MySQL

相关 scrapy 保存到 sqlite3

相关 scrapy爬取网页信息，保存到MySQL数据库

相关 python scrapy 保存数据到mysql的坑（1064错误）

相关保存到MySQL数据变成问号