Python Http Web服务 - URLLIB，HTTPLIB2(二、http客户端需要支持的特性)

朱雀 2022-05-31 22:47 214阅读 0赞

*  Python Web服务
 *  所有http客户端都应该支持五个重要功能
    
     *  缓存
     *  最后修改检查
     *  ETag检查
     *  压缩
     *  重定向

# Python Web服务 #

Python 3带有两个不同的库，用于与http web服务进行交互：  
**1. http.client**  
是一个实现rfc 2616（http协议）的低级库。  
**2. urllib.request**  
是建立在http.client之上的一个抽象层。它提供了访问http和ftp服务器的标准API，自动遵循http重定向，并处理一些常见的http认证形式。

那我们应该使用哪一个？  
他们都不是。相反，我们应该使用**httplib2**，这是一个比http.client更完全实现http的开源第三方库，但比urllib.request提供了更好的抽象。

--------------------

# 所有http客户端都应该支持五个重要功能 #

--------------------

分别是：Caching（高速缓存），Last-modified checking（最后修改的检查），ETag checking（ETag检查），Compression（压缩，Redirect（重定向）

--------------------

## 1.缓存 ##

网络访问非常昂贵！

认识到任何类型的Web服务最重要的是网络访问非常昂贵。  
打开连接，发送请求并从远程服务器获取响应需要很长时间。  
即使在最快的宽带连接上，延迟仍然可能比我们预期的要高。  
路由器行为异常，数据包丢失，中间代理受到攻击，等等。

http的设计考虑到缓存。有一整套称为缓存代理的设备，其唯一的工作就是坐在我们和世界其他地方之间，并最大限度地减少网络访问。

通过谷歌浏览器Chrome查看一个示例：  
在安装chrome-extension-http-headers之后：

![这里写图片描述][SouthEast]

我们可以得到头部http头信息：

![这里写图片描述][SouthEast 1]

--------------------

缓存加速了重复的页面浏览，并通过防止下载未更改的内容来节省大量的流量。  
我们可以使用**Cache-Control：max-age =**来通知浏览器该组件在定义的时间内不会被改变。  
这样，如果浏览器在其缓存中已经存在组件，那么我们可以避免不必要的进一步请求，因此，可以更快地执行引发缓存页面查看。

Python的http库不支持缓存，但是httplib2却支持。

--------------------

## 2.最后修改检查 ##

有些数据永远不会改变，而其他数据总是变化的。请求数据时，服务器上的数据可能会发生了变化。  
http也有这个解决方案。当我们第一次请求数据时，服务器可以发回一个Last-Modified头。这正是它听起来像：数据被更改的日期。  
当我们在第二次（或第三次或第四次）请求相同的数据时，我们可以发送一个If-Modified-Since头部与我们的请求，以及我们上一次从服务器返回的日期。如果自那时起数据发生了变化，那么服务器会给我们提供200个状态码的新数据。但是如果从那时起数据没有改变，服务器就会发回一个特殊的http **304**状态码，这意味着这个数据从上次我们要求的时候起并没有改变。

我们可以在命令行上使用cURL来测试它：

$ curl -I -H"If-Modified-Since:Sun,20 Jan 2013 19:56:58 GMT" 
     http://www.bogotobogo.com/python/images/python_http_web_services/Browsers.png
    
    ##响应:
    HTTP/1.1 304 Not Modified
    Date: Sun, 20 Jan 2013 23:21:23 GMT
    Server: Apache
    ETag: "664002c-2f09-4d3bdbf48a672"
    Vary: Accept-Encoding

这是一个改进，因为当服务器发送304时，它不会重新发送数据。  
我们所得到的是状态码。即使在我们的缓存副本已经过期之后，最后修改的检查也确保了如果没有改变，我们将不会下载相同的数据两次。  
（事实上，这304响应同样也包含了缓存头。代理服务器会保留数据的副本，它甚至正式后到期，同时希望在数据没有真正改变下一请求回应一个304个状态码，并更新缓存信息。 ）

Python的http库不支持上次修改的日期检查，但是**httplib2却支持**。

--------------------

## 3. ETag检查 ##

一个ETag或entity标签，是HTTP，对万维网的协议的一部分。这是HTTP为Web缓存验证提供的几种机制之一，它允许客户端发出条件请求。这使得缓存效率更高，节省带宽，因为如果内容没有改变，Web服务器不需要发送完整的响应。

使用ETag，服务器会在ETag头部发送一个哈希码以及我们请求的数据。

200 OK
    Date: Mon, 21 Jan 2013 00:07:51 GMT
    Content-Encoding: gzip
    Last-Modified: Sun, 20 Jan 2013 19:56:58 GMT
    Server: Apache
    ETag: "664002c-2f09-4d3bdbf48a672"
    Vary: Accept-Encoding
    Content-Type: image/png
    Accept-Ranges: bytes
    Content-Length: 12054

我们请求相同的数据时,如果数据没有改变，服务器将会发回一个304状态码。  
与上次修改日期检查一样，服务器只发送304状态码; 它不会再次向我们发送相同的数据。  
通过在我们的第二个请求中包含ETag hash，我们告诉服务器，如果它仍然匹配这个hash，就不需要重新发送相同的数据，因为我们仍然有来自上次的数据。

$ curl -I -H "If-None-Match: \"664002c-2f09-4d3bdbf48a672\""
     http://www.bogotobogo.com/python/images/python_http_web_services/Browsers.png
    
    ##响应
    HTTP/1.1 304 Not Modified
    Date: Mon, 21 Jan 2013 00:14:50 GMT
    Server: Apache
    ETag: "664002c-2f09-4d3bdbf48a672"
    Vary: Accept-Encoding

请注意，ETag通常用引号”“引起来，但引号是值的一部分。  
这意味着我们需要在If-None-Match标题中将引号发送回服务器。

Python的http库不支持Etag，**但是httplib2支持**。

--------------------

## 4.压缩 ##

当我们谈论HTTP Web服务时，我们几乎总是在谈论通过线路来回传输基于文本的数据。  
它可以是xml，json，也可以是纯文本。  
无论格式如何，**对内容压缩都是个很好方案**。

http支持几种压缩算法。两种最常见的类型是**gzip和deflate**。当我们通过http请求一个资源时，我们可以要求服务器以压缩格式发送它。我们在请求中包含一个Accept-Encoding头，它列出了我们支持的压缩算法。如果服务器支持任何相同的算法，它会发送给我们压缩的数据（使用内容编码头来告诉我们使用哪种算法）。然后，我们来解压缩数据。

![这里写图片描述][SouthEast 2]

Python的http库不支持压缩，但httplib2支持。

--------------------

## 5.重定向 ##

网站正在不断变化。即使Web服务可以重组，甚至域可能会移动。每次我们从http服务器请求任何资源时，服务器都会在其响应中包含一个状态码：

1.  200：一切正常
    2.  404页面不存在
    3.  300：重定向

--------------------

http有几种不同的表示资源已经移动的方式。  
两种最常见的技术是状态码302和301。  
**1. 302**：临时重定向; 它意味着oops，暂时移到这里，然后在Location标题中给出临时地址。  
如果我们得到一个302状态码和一个新地址，http规范说我们应该使用新的地址来得到我们所要求的，但是下一次我们要访问同一个资源时，我们应该重试旧的地址。

**2. 301：**永久重定向; 这意味着额，永久移动，然后在地址标题中给出新的地址。  
如果我们得到一个301状态码和一个新的地址，那么我们应该使用新的地址。  
当urllib.request模块从http服务器收到相应的状态码时，会自动遵循重定向，但是并没有告诉我们这样做。我们最终会得到我们要求的数据，但是我们永远不会知道底层的库有助于我们进行重定向。  
所以我们将继续敲击旧地址，每次我们将重定向到新地址，并且每次urllib.request模块都将有助于重定向。换句话说，它将永久重定向视为临时重定向。这意味着两次往返而不是一次，这对服务器不利，对我们不利。

**httplib2为我们处理永久重定向。它不仅会告诉我们发生了永久重定向，它会在本地跟踪它们，并在请求它们之前自动重写重定向的URL。**

--------------------

原文地址：

http://www.bogotobogo.com/python/python_http_web_services.php

[SouthEast]: /images/20220601/c24f64132e734ccaa7669e309bc743b5.png
[SouthEast 1]: /images/20220601/03c9cfbf735048ac9b6707cd9b50291f.png
[SouthEast 2]: /images/20220601/29bc2a2d6cb444318ac11375b94d147c.png