爬虫扩展——浅谈Response对象

爱被打了一巴掌 2023-09-29 11:18 25阅读 0赞

> 我们来讲讲请求之后，服务器返回的响应。 
> 
> 首先我们来看下下面这段代码，想来大家应该都不陌生。

import requests
    response = requests.get('https://www.baidu.com')
    print(response.text)
    print(response.content)

>  *  这里的response其实是一个Response对象，text和content分别表示取这个对象的text属性和content属性。 
>  *  其中text表示文本数据形式的网页源代码，content表示字节型数据的网页源代码。

> 那么Response对象就只有这两个属性吗？还有其他的很有用的属性或方法吗？ 
> 
> 当然有，接下来我们先看下Response对象都有些什么内容。

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16][]

> 以上就是Response对象所有属性，有的我们暂时不需要了解，先来看看哪些是能够为我们所用的。其中content和text属性，分别表示网页源码的字节型数据和文本数据。

>  第一个要了解的是apparent\_encoding和encoding属性，其中encoding是从HTTP header中猜测的响应内容编码方式，apparent\_encoding是根据响应内容分析出的编码方式。
> 
>  我们应该重点关注apparent\_encoding，这个属性能够很好地帮助我们确认网页源码的编码方式，避免获取到的内容乱码。所以在获取网页源码时，为避免乱码，我们可以这么做。

# 实现功能，避免获取到的网页源码是乱码
    import requests
    res = requests.get('https://www.baidu.com')
    res.encoding = res.apparent_encoding
    # 这样，我们就不需要去关心获取到的网页源码的编码格式具体是什么
    print(res.text)
    f = open('baidu.com', 'w', encoding=res.encoding)
    f.write(res.text)
    f.close()

>  第二个要了解的是cookies属性，该属性保存了用户的cookie值，我们有的时候可以通过获取到上一个请求的cookie，作为请求头的一个cookie参数传入到请求中。

>  第三个要了解的是headers属性，这个属性中记录了响应头中的相关内容，虽然不怎么会用到，但还是要理解这是什么。

>  第四个要了解的是request属性，这个属性记录了请求的相关信息，这其中有一个请求头需要了解一下，通过了解这个请求头，我们能够更加深入地理解我们在编写爬虫的时候，为什么要在请求头中添加User-Agent参数，如果不加这个参数，这个headers属性中的User-Agent值是什么呢，我们可以来看一下：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

>  可以看到，如果请求时不添加User-Agent参数，User-Agent默认值为
> 
> python-requests/2.18.4，这样就容易被网站识别出是一个爬虫，从而限制我们的爬取。

>  最后一个需要了解的是status\_code属性，这个属性表示响应的状态码，当我们一次性爬取的url数量过多的时候，就需要用status\_code来过滤掉请求失败的url，否则在后面的数据 解析中容易报错，从而导致程序运行的终止。

# 所以当爬取的url数量过多的话，经常会这样处理：
    import requests
    url_list = ['https://www.baidu.com', 'https://www.zhihu.com', 'https://www.douban.com']
    for url in url_list:
        res = requests.get(url) 
        if res.status_code != 200:
            continue
        print(res.text)

--------------------

## 总结 ##

本文介绍了爬⾍Response对象的一些相关知识，希望对你有帮助，加油，希望你我一同走进爬虫的世界~~

欢迎大家留言一起讨论问题~~~

--------------------

**注：本文是参考风变编程课程资料（已经授权）及部分百度资料整理所得，系博主个人整理知识的文章，如有侵权，请联系博主，感谢~**

--------------------

## 爬虫文章专栏   [https://blog.csdn.net/weixin\_53919192/category\_11748211.html![icon-default.png?t=M3K6][icon-default.png_t_M3K6]https://blog.csdn.net/weixin\_53919192/category\_11748211.html][https_blog.csdn.net_weixin_53919192_category_11748211.html_icon-default.png_t_M3K6_icon-default.png_t_M3K6_https_blog.csdn.net_weixin_53919192_category_11748211.html] ##

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/8b6dc46879c4447194e3d20a4987b85d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/ec5ac78cc1494973801a9b6cef6da20d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[icon-default.png_t_M3K6]: https://csdnimg.cn/release/blog_editor_html/release2.1.0/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=M3K6
[https_blog.csdn.net_weixin_53919192_category_11748211.html_icon-default.png_t_M3K6_icon-default.png_t_M3K6_https_blog.csdn.net_weixin_53919192_category_11748211.html]: https://blog.csdn.net/weixin_53919192/category_11748211.html