python爬虫：requests库的基本方法函数及运用框架

痛定思痛。 2021-11-10 17:40 303阅读 0赞

# 安装： #

Win 平台：“以管理员身份运行” cmd，执行   pip install requests

小测：
    
    >>>import requests
    
    >>>r=requests.get("http://www.baidu.com")
    
    >>>print(r.status_code)
    
    200
    
    >>>r.text

--------------------

## Requests库的7个主要方法： ##

![aHR0cHM6Ly9pbWFnZXMyMDE3LmNuYmxvZ3MuY29tL2Jsb2cvMTI5NjE5OC8yMDE3MTIvMTI5NjE5OC0yMDE3MTIxOTE3NDY0ODEzMS0xMDc4Mzg2OTU0LnBuZw][]

# #

**requests.requests()为基础方法**

request.requests(method, url, **kwargs)

method包含上述的get/put/post/options 等七种方法

url   为获取页面的链接  
\*\*kwargs 为控制访问的参数，共13个，可自主按需选择

**params ：    字典或字节序列，可以作为 参数 加入到url中  
data ：          对象，作为request的对应内容  
json：           JSON格式的数据，作为Request的内容  
headers ：   字典，http定制的头 字段  
cookies ：   request中的cookie  
files ：         字典，向链接传输文件  
auth ：         元组，认证http功能  
timeout ：   设定超时时间，秒为单位  
proxies ：  字典类型，可以设定访问的代理服务器  
allow\_redirects ：开关，允许不允许重定向  
stream ：   文件下不下载，默认下载  
verify ：  认证ssl  
cert ：   本地ssl路径**

--------------------

## Response对象的属性： ##

![aHR0cHM6Ly9pbWFnZXMyMDE3LmNuYmxvZ3MuY29tL2Jsb2cvMTI5NjE5OC8yMDE3MTIvMTI5NjE5OC0yMDE3MTIxOTE3NDY0ODEzMS0xMDc4Mzg2OTU0LnBuZw][]

##  理解Requests库的异常： ##

![aHR0cHM6Ly9pbWFnZXMyMDE3LmNuYmxvZ3MuY29tL2Jsb2cvMTI5NjE5OC8yMDE3MTIvMTI5NjE5OC0yMDE3MTIxOTE3NTYzMzMzNC05MTMzMjE5MDIucG5n][]

### 爬去网页的通用代码框架： ###

import requests
    def getHTMLText(url):
          try:
                r=requests.get(url,timeout=30)
                r.raise_for_status()  #如果状态不是200，引发HTMLError异常
                r.encoding=r.apparent_encoding
                return r.text
           except:
                 return "产生异常"
    
    if __name__=="__main__":
         url="http://www.baidu.com"
         print(getHTMLText(url))

## HTTP协议： ##

HTTP，Hypertext Transfer Protocol，超文本传输协议  
HTTP是一个基于“请求与响应”模式的、无状态的应用层协议 HTTP协议采用URL作为定位网络资源的标识，URL格式如下：  
http : //host\[:port\]\[path\]

host: 合法的Internet主机域名或IP地址 port: 端口号，缺省端口为80 path: 请求资源的路径  
HTTP  
HTTP，Hypertext Transfer Protocol，超文本传输协议  
HTTP URL实例：  
http://www.bit.edu.cn http://220.181.111.188/duty  
HTTP URL的理解：  
URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源

## HTTP协议对资源的操作： ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzYzOTI5_size_16_color_FFFFFF_t_70][]

## HTTP协议与Requests库： ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzYzOTI5_size_16_color_FFFFFF_t_70 1][]

[aHR0cHM6Ly9pbWFnZXMyMDE3LmNuYmxvZ3MuY29tL2Jsb2cvMTI5NjE5OC8yMDE3MTIvMTI5NjE5OC0yMDE3MTIxOTE3NDY0ODEzMS0xMDc4Mzg2OTU0LnBuZw]: /images/20211109/4f36b861946c4d5594fbf1c0cc278eeb.png
[aHR0cHM6Ly9pbWFnZXMyMDE3LmNuYmxvZ3MuY29tL2Jsb2cvMTI5NjE5OC8yMDE3MTIvMTI5NjE5OC0yMDE3MTIxOTE3NTYzMzMzNC05MTMzMjE5MDIucG5n]: /images/20211109/960aecb1d47644d296e7d653d7795fef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzYzOTI5_size_16_color_FFFFFF_t_70]: /images/20211109/e36d566200f74d80bd62bf0f78714337.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzYzOTI5_size_16_color_FFFFFF_t_70 1]: /images/20211109/766f9d0e05ac4434b8c39c790fd482fd.png