scrapy请求传参-BOSS反爬

港控/mmm° 2023-06-02 10:48 6阅读 0赞

## scrapy请求传参-BOSS反爬 ##

#### 思路总结 ####

首先boss加了反爬

是cookies的

爬取的内容为职位和职位描述

# -*- coding: utf-8 -*-
    import scrapy
    from boss.items import BossItem
    
    
    class Boss01Spider(scrapy.Spider):
        name = 'boss_01'
        start_urls = ['https://www.zhipin.com/c101210100/?query=python&page=1']
    
        #修改第一次请求
        def start_requests(self):
            cookies = "自己填写自己的cookies"
            cookies = {i.split("=")[0]: i.split("=")[1] for i in cookies.split("; ")}
            yield scrapy.Request(
                self.start_urls[0],
                callback=self.parse,
                cookies=cookies
            )
    
        def parse_detail(self,response):
            data=response.xpath('//*[@id="main"]/div[3]/div/div[2]/div[2]/div[1]/div/text()').extract()
            all_data=''
            for i in data:
                all_data+="\n"+i
            item = response.meta['item']
            item['job_content']=all_data
            yield item
    
        def parse(self, response):
            job_list=response.xpath('//div[@class="job-list"]/ul/li')
            for i in job_list:
                item = BossItem()
                #爬取岗位名称和详情的url
                job_name=i.xpath('./div/div/h3/a/div[@class="job-title"]/text()').extract_first()
                job_url=i.xpath('./div/div/h3/a/@href').extract_first()
                job_all_url="https://www.zhipin.com"+job_url
                item['job_name']=job_name
                yield scrapy.Request(job_all_url, callback=self.parse_detail,meta={'item':item})

转载于:https://www.cnblogs.com/zx125/p/11536724.html

发表评论取消回复

表情：

评论列表（有 0 条评论，6人围观）

还没有评论，来说两句吧...

相关阅读

相关 FastAPI(四)请求传参

目录一、路径传参二、查询传参三、请求体传参 -------------------- 一、路径传参 @router.get("/get_list/

矫情吗；*/ 2024年03月27日 16:30/ 0 赞/ 83 阅读

相关 axios.get请求传参方式

GET 请求中的数据通常通过查询参数（query parameters）传递，而不是在请求体中传递将数据作为查询参数附加到 URL 上 axios.get('

左手的ㄟ右手/ 2024年03月02日 10:51/ 0 赞/ 74 阅读

相关 scrapy请求传参-BOSS反爬

scrapy请求传参-BOSS反爬思路总结首先boss加了反爬是cookies的爬取的内容为职位和职位描述 -- coding: utf-8

港控/mmm°/ 2023年06月02日 10:48/ 0 赞/ 7 阅读

相关爬虫----反爬与反反爬

目录一：反爬与反反爬介绍： 1: 反爬的三个方向： 2：基于身份识别进行反爬： 3：常见基于

Love The Way You Lie/ 2022年12月23日 11:22/ 0 赞/ 229 阅读

相关 scrapy绕过无限debugger反爬

[https://www.cnblogs.com/chenlove/p/14801819.html][https_www.cnblogs.com_chenlove_p_1480

以你之姓@/ 2022年10月08日 05:59/ 0 赞/ 164 阅读

相关 Python 爬虫，scrapy，携带cookie请求登录

项目名/spiders/爬虫名.py（爬虫，携带cookie登录）： -- coding: utf-8 -- import scrapy im

谁借莪１个温暖的怀抱￠/ 2022年03月25日 08:40/ 0 赞/ 254 阅读

相关 scrapy框架爬取Boss直聘，数据存入mysql

自从上次用了scrapy爬取豆瓣电影后，发现scrapy除了入门相对request较难外，各方面都挺好的，速度很快，还有各个功能模块，以及django类似的各种中间件组成一个完

àì夳堔傛蜴生んèń/ 2022年03月09日 03:30/ 0 赞/ 1162 阅读

相关 scrapy动态传参

> scrapy crawl baidu -a taskname=“台北” -a bound="\{“left”: 116.29203277476964,“right”: 11

绝地灬酷狼/ 2022年02月21日 12:25/ 0 赞/ 238 阅读

相关 selenium 爬boss

有问题 from selenium import webdriver import time from lxml import et

雨点打透心脏的1/2处/ 2021年11月11日 09:00/ 0 赞/ 283 阅读

相关 12 Scrapy框架的日志等级和请求传参

一.Scrapy的日志等级　　- 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。　　- 日志信息

朴灿烈づ我的快乐病毒、/ 2021年11月02日 13:18/ 0 赞/ 228 阅读