Python 爬虫，scrapy，定义Item，封装提取的数据项

冷不防 2022-03-25 04:54 242阅读 0赞

**项目名/items.py（定义Item）：**

# -*- coding: utf-8 -*-
    import scrapy
    
    # 定义Item，继承scrapy.Item。 scrapy.Item 类似字典类型,可以通过[]获取和设置值,但不可以动态添加未定义的属性字段。
    class TencentItem(scrapy.Item):
        title = scrapy.Field()
        position = scrapy.Field()
        publish_date = scrapy.Field()

**项目名/spiders/爬虫名.py（爬虫，提取数据并封装到 Item 中）：**

# -*- coding: utf-8 -*-
    import scrapy
    from tencent.items import TencentItem  # 导入
    
    
    class HrSpider(scrapy.Spider):
        name = 'hr'  # 爬虫名
        allowed_domains = ['tencent.com']
        start_urls = ['http://hr.tencent.com/position.php']
    
        def parse(self, response):
            tr_list = response.xpath("//table[@class='tablelist']/tr")[1:-1]
            for tr in tr_list:
                # 实例化Item对象
                item = TencentItem()
                # 如果TencentItem中没有定义title属性字段，那么此处会报错。
                item["title"] = tr.xpath("./td[1]/a/text()").extract_first()
                item["position"] = tr.xpath("./td[2]/text()").extract_first()
                item["publish_date"] = tr.xpath("./td[5]/text()").extract_first()
                # dict(item)  # 可以转换成字典类型。
                yield item

发表评论取消回复

表情：

评论列表（有 0 条评论，242人围观）

还没有评论，来说两句吧...

相关阅读

相关 python scrapy 爬虫

码运行来了python scrapy框架，搭建一个完整爬虫工程架构，不只是一个py文件。建议在linux运行参考： [https://www.jianshu.co...

迷南。/ 2024年04月17日 06:23/ 0 赞/ 84 阅读

相关 python 爬虫 6 （scrapy item、scrapy pipelines）

scrapy item、scrapy pipelines 写在前面 1、scrapy item 1.1、开始写代码

今天药忘吃喽~/ 2023年10月08日 12:07/ 0 赞/ 66 阅读

相关 Python爬虫Scrapy入门

Scrapy组成 Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。 ![在这里插入图片描述]

末蓝、/ 2023年07月03日 07:04/ 0 赞/ 32 阅读

相关 Python网络爬虫项目：内容提取器的定义

本篇文章主要介绍了Python网络爬虫项目，这能有效的节省程序员的时间，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。 1. 项目背景在python 即时

曾经终败给现在/ 2023年05月28日 05:26/ 0 赞/ 14 阅读

相关【Python爬虫】Scrapy爬虫框架

Scrapy爬虫框架介绍 ![format_png][] ![format_png 1][] pip install scrapy scrapy -h

╰+哭是因爲堅強的太久メ/ 2023年02月27日 13:40/ 0 赞/ 63 阅读

相关 24-爬虫-scrapy-Item Pipeline

给IT入门加星标，提升编程技能当Item在Spider中被收集之后，它将会被传递到Item Pipeline 每个Item Pipeline组件接收到Item,定义一些操

待我称王封你为后i/ 2023年01月04日 13:18/ 0 赞/ 249 阅读

相关「Scrapy 爬虫框架」物品管道（Item Pipeline）详解

文章目录内容介绍 pipeline基础方法 pipeline简单举例 pipeline激活方法内容介绍开发环境为 Python3.6

朱雀/ 2022年10月25日 14:15/ 0 赞/ 329 阅读

相关「Scrapy 爬虫框架」物品（Items）详解

文章目录内容介绍 Items的定义 Items的使用内容介绍开发环境为 Python3.6，Scrapy 版本 2.4.x ，爬虫项目全部

系统管理员/ 2022年10月25日 14:08/ 0 赞/ 385 阅读

相关 Python 爬虫，scrapy，定义Item，封装提取的数据项

项目名/items.py（定义Item）： -- coding: utf-8 -- import scrapy 定义Item，继承

冷不防/ 2022年03月25日 04:54/ 0 赞/ 243 阅读

相关精通Scrapy网络爬虫【四】 Item

使用Item封装数据在items.py中实现BookItem，代码如下： import scrapy class BookItem(scra

桃扇骨/ 2021年09月08日 10:06/ 0 赞/ 502 阅读