scrapy将爬取的招聘信息存入MySQL

ゝ一世哀愁。 2021-05-16 20:36 572阅读 0赞

> 写这篇文章的目的就是为自己的学习做一下笔记，记录一下python如何连接和操作MySQL。

**既然要用python操作MySQL，就要导入操作MySQL的模块，python3.0+要用pymysql这个模块。**

爬取网址：https://www.liepin.com/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70_pic_center]

因为只是记录python操作MySQL，所以就简单的选择了网址首页的几条信息(**招聘公司，招聘岗位，月薪，位置**)来作为写入数据库的内容，插入数据量大的信息所用方法是相同的。

**代码部分**

**爬虫部分**

import scrapy
    from ..items import ConnectMysqlItem  # 根据自己的文件名调入相关模块
    
    class CmysqlSpider(scrapy.Spider):
        name = 'cmysql'
        allowed_domains = ['liepin.com']
        start_urls = ['https://www.liepin.com/']
    
        def parse(self, response):
            item = ConnectMysqlItem()
            zhiwei_list = response.xpath("//div[@id='LPAdServer-23310']/ul/li/div/p[@class='job-title']/a/text()").extract()  # 获取相关招聘信息
            gongsi_list = response.xpath("//div[@id='LPAdServer-23310']/ul/li/div[@class='job-detail']/p[@class='company-name']/a/text()").extract()
            didian_list = response.xpath("//div[@id='LPAdServer-23310']/ul/li/div/p[@class='job-salary']/em/span/text()").extract()  # 获得的信息为列表格式
            gongzi_list = response.xpath("//div[@id='LPAdServer-23310']/ul/li/div/p[@class='job-salary']/em/text()").extract()
            for i in range(len(zhiwei_list)):
                zhiwei = zhiwei_list[i]
                gongzi = gongzi_list[i]
                didian = didian_list[i]
                gongsi = gongsi_list[i]
                item["职位"] = zhiwei
                item["工资"] = gongzi
                item["地点"] = didian
                item["公司"] = gongsi
                yield item
            pass

**items部分**

import scrapy
    
    
    class ConnectMysqlItem(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
        工资 = scrapy.Field()
        公司 = scrapy.Field()
        地点 = scrapy.Field()
        职位 = scrapy.Field()
        pass

**settings部分**  
(都有相关配置信息，删掉注释符就可以)

ROBOTSTXT_OBEY = False
    DEFAULT_REQUEST_HEADERS = { 
      'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
      'Accept-Language': 'en',
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}
     ITEM_PIPELINES = { 
       'connect_mysql.pipelines.ConnectMysqlPipeline': 300,
    }

**pipelines部分**

import pymysql
    
    
    class ConnectMysqlPipeline:
        def process_item(self, item, spider):
            item["职位"] = item.get("职位"),
            item["地点"] = item.get('地点'),
            item["公司"] = item.get('公司'),
            item["工资"] = item.get('工资'),
    
            # 打开数据库连接
            db = pymysql.connect("localhost", "root", "root", "connect_mysql")
    
            # 使用cursor()方法获取操作游标
            cursor = db.cursor()
    
            # SQL 插入语句
            sql = """INSERT INTO work_table(职位, 公司, 地点, 工资) VALUES ('{}', '{}','{}' , '{}')""".format(item["职位"][0],item['地点'][0],item['公司'][0],item['工资'][0])
            try:
                # 执行sql语句
                cursor.execute(sql)
                # 提交到数据库执行
                db.commit()
            except:
                # 如果发生错误则回滚
                db.rollback()
    
            # 关闭数据库连接
            db.close()

连接MySQL数据库和写入信息的命令都在pipelines部分中，这里说一下操作MySQL的命令：

连接数据库		pymysql.connect("数据库地址(本地就是localhost)", "用户名", "密码", "数据库名称")
    获取游标对象		cursor = db.cursor()
    所要执行的SQL语句		"""INSERT INTO 表名(列名，列名) VALUES ("插入的数据"，"插入的数据")"""
    执行SQL语句		cursor.execute(sq语句对象名)
    提交到数据库执行		db.commit()
    关闭数据库连接		db.close()

**执行结果**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70_pic_center 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70_pic_center]: /images/20210516/a52ab69636d44832ab26dcb43c3b6b20.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20210516/b4dcf61d318543309872820253e317e6.png