scrapy爬取Tencent招聘信息

水深无声 2022-05-18 05:55 382阅读 0赞

1.命令行创建一个scrapy工程

scrapy startproject Tencent

2.分析[https://hr.tencent.com/position.php?][https_hr.tencent.com_position.php]腾讯招聘网站，发现每页显示10条招聘信息。我们通过爬虫获取（职位名称，职位类型，人数，地点，发布时间）的信息。

所以我们要修改 ***items.py***文件。。通过***scrapy.Field()***定义字段名。。

import scrapy
    
    
    class TencentItem(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
        # 职位名
        positionName = scrapy.Field()
        # 职位详情连接
        positionLink = scrapy.Field()
        # 职位类别
        positionType = scrapy.Field()
        # 招聘人数
        peopleNumber = scrapy.Field()
        # 工作地点
        workLocation = scrapy.Field()
        # 发布时间
        publishTime = scrapy.Field()

3.在***spiders***文件夹下通过命令创建***tencent.py***文件

scrapy genspider tencent "tencent.com"

其中***tencent***是爬虫名。***tencent.com***是要爬取的域

下面来编写***tencent.py***文件（以下是该文件的全部代码。。。）

import scrapy
    from Tencent.items import TencentItem
    
    
    class TencentSpider(scrapy.Spider):
        name = 'tencent'
        allowed_domains = ['tencent.com']
        # start_urls = ['http://tencent.com/']
        baseURL = "https://hr.tencent.com/position.php?&start="
        # 偏移量
        offset = 0
        start_urls = [baseURL + str(offset)]
    
        def parse(self, response):
            node_list = response.xpath("//tr[@class='even']| //tr[@class='odd']")
    
            for node in node_list:
                item = TencentItem()
    
                # 提取每个职位的信息。并且将提取的Unicode字符串编码转化为UTF-8编码
                item['positionName'] = node.xpath("./td[1]/a/text()").extract()[0].encode("utf-8")
                item['positionLink'] = node.xpath("./td[1]/a/@href").extract()[0].encode("utf-8")
                if len(node.xpath("./td[2]/text()")):
                    item['positionType'] = node.xpath("./td[2]/text()").extract()[0].encode("utf-8")
                else:
                    item['positionType'] = ""
                item['peopleNumber'] = node.xpath("./td[3]/text()").extract()[0].encode("utf-8")
                item['workLocation'] = node.xpath("./td[4]/text()").extract()[0].encode("utf-8")
                item['publishTime'] = node.xpath("./td[5]/text()").extract()[0].encode("utf-8")
    
                # item['positionName'] = positionName.encode("utf-8")
                # item['positionLink'] = positionLink.encode("utf-8")
                # item['positionType'] = positionType.encode("utf-8")
                # item['peopleNumber'] = peopleNumber.encode("utf-8")
                # item['workLocation'] = workLocation.encode("utf-8")
                # item['publishTime'] = publishTime.encode("utf-8")
    
                # 将item交给管道
                yield item
    
            # 取下一页
            if self.offset < 3600:
                self.offset = self.offset + 10
                url = self.baseURL + str(self.offset)
                # callback回调方法
                yield scrapy.Request(url, callback=self.parse)

下面来具体解析下该tencent.py文件代码的含义：

name = 'tencent'

爬虫名，启动爬虫是需要的参数*必须

allowed_domains = ['tencent.com']

爬取域范围，循序爬虫再这个域名下进行爬取（可选）

baseURL = "https://hr.tencent.com/position.php?&start="

baseURL是后面的url的构建基础

offset = 0

偏移量，因为此网站每页显示的是10，offset初始值为0

start_urls = [baseURL + str(offset)]

起始url,爬虫执行后第一批请求，将从这个列表里获取

def parse(self, response):

这是自带的函数名，不能改变

node_list = response.xpath("//tr[@class='even']| //tr[@class='odd']")

获取职位的信息的表单的列表,此处用到xpath定位元素

![70][]

for node in node_list:
                item = TencentItem()

循环列表，并创建Tencent()类的对象，此时要在tencent.py文件中导入头文件，（即从Tencent中的items文件导入的

TencentItem类）

from Tencent.items import TencentItem

# 提取每个职位的信息。并且将提取的Unicode字符串编码转化为UTF-8编码
                item['positionName'] = node.xpath("./td[1]/a/text()").extract()[0].encode("utf-8")
                item['positionLink'] = node.xpath("./td[1]/a/@href").extract()[0].encode("utf-8")
                if len(node.xpath("./td[2]/text()")):
                    item['positionType'] = node.xpath("./td[2]/text()").extract()[0].encode("utf-8")
                else:
                    item['positionType'] = ""
                item['peopleNumber'] = node.xpath("./td[3]/text()").extract()[0].encode("utf-8")
                item['workLocation'] = node.xpath("./td[4]/text()").extract()[0].encode("utf-8")
                item['publishTime'] = node.xpath("./td[5]/text()").extract()[0].encode("utf-8")

提取每个职位的信息。。。并将这些职位信息存到item中，方便交给pipline处理。。
    并且将提取的Unicode字符串编码转化为UTF-8编码。。
    .extract()将xpath对象转化成Unicode字符串

node.xpath("./td[1]/a/text()").extract()

该方法获取的是一个列表形式，所以正确的做法是取【0】

node.xpath("./td[1]/a/text()").extract()[0]

yield item

将item交给管道

if self.offset < 3600:
                self.offset = self.offset + 10
                url = self.baseURL + str(self.offset)
                # callback回调方法
                yield scrapy.Request(url, callback=self.parse)

取下一页。。其中3600是最后一页的编号。。也就是总职位数

3.下面修改***pipelines.py***文件..完整代码如下：

import json
    
    
    class MyEncoder(json.JSONEncoder):
        def default(self, obj):
            if isinstance(obj, bytes):
                return str(obj, encoding='utf-8')
            return json.JSONEncoder.default(self, obj)
    
    
    class TencentPipeline(object):
        # 交给磁盘
        def __init__(self):
            self.f = open("tencent.json", "w")
    
        def process_item(self, item, spider):
            # 将item转化成字典,即转化成python类型
    
            content = json.dumps(dict(item), ensure_ascii=False, cls=MyEncoder) + "\n"  # 换行
            self.f.write(content)
            return item
    
        def close_spider(self, spider):
            self.f.close()

下面来解释下：

class MyEncoder(json.JSONEncoder):
        def default(self, obj):
            if isinstance(obj, bytes):
                return str(obj, encoding='utf-8')
            return json.JSONEncoder.default(self, obj)

这部分是自己定义的类。。（python中dumps方法很好用，可以直接把我们的dict直接序列化为json对象但是有的时候我们加了一些自定义的类就没法序列化了，这个时候需要自定义一些序列化方法）

开始程序是这样写的

class TencentPipeline(object):
        # 交给磁盘
        def __init__(self):
            self.f = open("tencent.json", "w")
    
        def process_item(self, item, spider):
            # 将item转化成字典,即转化成python类型
    
            content = json.dumps(dict(item), ensure_ascii=False) + "\n"  # 换行
            self.f.write(content)
            return item
    
        def close_spider(self, spider):
            self.f.close()

执行会出现报错信息：

TypeError: Object of type 'bytes' is not JSON serializable

我们将其修改如上面的全代码就不会报错了：

参考：[https://blog.csdn.net/z564359805/article/details/80599126][https_blog.csdn.net_z564359805_article_details_80599126]

4.修改***settings.py***文件，将其打开

ITEM_PIPELINES = {
       'Tencent.pipelines.TencentPipeline': 300,
    }

5.执行命令：

scrapy crawl tencent

6.查看在目录下的报告：成功！

![70 1][]

[https_hr.tencent.com_position.php]: https://hr.tencent.com/position.php?&start=0
[70]: /images/20220518/0a937b84df954ce3868c82206854103b.png
[https_blog.csdn.net_z564359805_article_details_80599126]: https://blog.csdn.net/z564359805/article/details/80599126
[70 1]: /images/20220518/720c113277af4211a31129bcd88d8e0d.png