设置cookie爬取拉钩网

蔚落 2021-12-03 21:27 380阅读 0赞

import requests
    
    start_url = 'https://www.lagou.com/jobs/list_python?labelWords=sug&fromSearch=true&suginput=pyt'
    pares_url = 'https://www.lagou.com/jobs/positionAjax.json?city=%E6%B7%B1%E5%9C%B3&needAddtionalResult=false'
    
    headers = { 
        'User-Agent': "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
        'Referer': "https://www.lagou.com/jobs/list_python?labelWords=sug&fromSearch=true&suginput=pyt"
    }
    data = { 'first': 'false', 'pn': '1', 'kd': 'python'}  # pn指爬取第几页，爬取多页可以对该参数下手
    cookies = requests.get(url=start_url, headers=headers).cookies
    response = requests.post(url=pares_url, headers=headers, cookies=cookies, data=data)
    items = response.json()['content']['positionResult']['result']
    for item in items:
        print('--' * 30)
        print('职位：%s\t\t学历：%s\t\t工作年限：%s\t\t薪资：%s' % (item['positionName'], item['education'], item['workYear'], item['salary']))
        print('公司：%s\t\t行政区：%s\t\t公司全称：%s' % (item['companyShortName'], item['district'], item['companyFullName']))
        print('##' * 50)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70]: /images/20211203/d87f49602b224f59b6b972b2846d70db.png

发表评论取消回复

表情：

评论列表（有 0 条评论，380人围观）

还没有评论，来说两句吧...

相关阅读

相关爬虫---爬取拉钩信息网

　　今天不知道写点什么，想到金9银10了写一篇抓取拉勾网我们软件测试工程师的薪资~~ 爬取拉勾网职业信息分析网站信息 1、打开拉勾网，输入我们想要查找的

╰半橙微兮°/ 2023年08月17日 17:26/ 0 赞/ 115 阅读

相关 python爬取招聘网站：拉勾网

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：TM0831 PS：如有需要Pyth

绝地灬酷狼/ 2023年02月24日 11:29/ 0 赞/ 60 阅读

相关 nodejs实现拉钩网爬虫

概述通过nodejs+mysql+cheerio+request实现拉钩网特定公司的所有招聘信息的抓取，并将抓取的信息保存到数据库中。抓取内容包括：薪酬福利，工作地，职

灰太狼/ 2022年05月31日 08:21/ 0 赞/ 249 阅读

相关 Request爬取拉勾网信息

首先，拉勾网是一个典型的难以爬取信息的网站。是因为此网站包含robot协议，获取爬取请求做限制。导致无法顺利爬虫。另外，职位信息是Ajax文件加载进来的，单纯了通过源码获

叁歲伎倆/ 2022年05月16日 02:40/ 0 赞/ 364 阅读

相关 requests拉钩网职位爬虫

import re import requests from lxml import etree headers = {

比眉伴天荒/ 2022年05月15日 01:09/ 0 赞/ 227 阅读

相关拉勾网Python岗位爬取

具体流程都在我写的注释中,完整代码如下: import time from selenium import webdriver

妖狐艹你老母/ 2022年05月13日 09:10/ 0 赞/ 502 阅读

相关【2019.05】python 爬取拉钩数据（静态+动态）

拉钩这个网站有点意思，页面加载有两种方法点击首页的标签，页面是静态加载的直接搜索，页是动态加载的两种爬取方式不一样，这里都实现了。动态爬取时会出现

ゞ浴缸里的玫瑰/ 2022年02月04日 05:53/ 0 赞/ 284 阅读

相关【selenium+chromedriver】设置代理爬取拉勾网

from selenium import webdriver from lxml import etree import re chr

深藏阁楼爱情的钟/ 2021年12月04日 01:11/ 0 赞/ 350 阅读

相关设置cookie爬取拉钩网

import requests start_url = 'https://www.lagou.com/jobs/list_python?labelWo

蔚落/ 2021年12月03日 21:27/ 0 赞/ 381 阅读

相关 python爬拉钩案例爬虫

直接上代码这里拉勾网做了cookie的反扒机制，所以用 requests.utils.dict_from_cookiejar这个方法去获取cookie然后赋值

深碍√TFBOYSˉ_/ 2021年12月03日 02:53/ 0 赞/ 355 阅读