python--httplib模块使用

青旅半醒 2022-03-18 07:36 248阅读 0赞

httplib是一个相对底层的http请求模块，其上有专门的包装模块，如urllib内建模块，goto等第三方模块，但是封装的越高就越不灵活，比如urllib模块里请求错误时就不会返回结果页的内容，只有头信息，对于某些需要检测错误请求返回值的场景就不适用，所以就得用这个模块了。

1、class httplib.HTTPConnection

说明：  
该类用于创建一个http类型的请求链接  
  
原型：  
HTTPConnection(host\[, port\[, strict\[, timeout\]\]\])  
host: 请求的服务器host，不能带http://开头  
port: 服务器web服务端口  
strict: 是否严格检查请求的状态行，就是http1.0/1.1 协议版本的那一行，即请求的第一行，默认为False，为True时检查错误会抛异常

timeout: 单次请求的超时时间，没有时默认使用httplib模块内的全局的超时时间

实例：  
    conn1 = HTTPConnection('www.baidu.com:80')  
    conn2 = HTTPconnection('www.baidu.com',80)  
    conn3 = HTTPConnection('www.baidu.com',80,True,10)  
    错误实例：  
    conn3 = HTTPConnection('www.baidu.com:80',True,10)

返回：  
HTTPConnection类会实例并返回一个HTTPConnection对象  
  
  
2、class httplib.HTTPSConnection  
说明：  
该类用于创建一个https类型的请求链接  
  
原型：  
HTTPSConnection(host\[, port\[, key\_file\[, cert\_file\[, strict\[, timeout\]\]\]\]\])  
key\_file:一个包含PEM格式的私钥文件  
cert\_file:一个包含PEM格式的认证文件  
other：其它同http参数  
  
实例：

conn3 = HTTPSConnection('accounts.google.com',443,key_file,cert_file,True,10)

返回：  
同样返回一个HTTPSConnection对象  
  
注意：  
要创建https链接，必须要保证底层的socket模块是支持ssl的编译模式，即编译时ssl选项的开关是开着的  
  
  
3、HTTPConnection对象request方法：  
说明：  
发送一个请求  
  
原型：  
conn.request(method, url\[, body\[, headers\]\])  
method: 请求的方式，如'GET','POST','HEAD','PUT','DELETE'等  
url: 请求的网页路径。如：'/index.html'  
body: 请求是否带数据，该参数是一个字典  
headers: 请求是否带头信息，该参数是一个字典，不过键的名字是指定的http头关键字  
  
实例：

conn.request('GET', '/', '', {'user-agent':'test'})

返回：  
无返回，其实就是相对于向服务其发送数据，但是没有最后回车  
  
  
4、HTTPConnection对象getresponse方法  
说明：  
获取一个http响应对象，相当于执行最后的2个回车  
  
原型/实例：

res = conn.getresponse()

返回：  
HTTPResponse对象  
  
  
5、HTTPConnection对象close()方法  
说明：  
关闭指定的httpconnect链接  
  
实例：

conn.close()

6、HTTPResponse对象read方法  
说明：  
获得http响应的内容部分，即网页源码  
  
原型：  
body = res.read(\[amt\])  
amt: 读取指定长度的字符，默认为空，即读取所有内容  
  
实例：

body = res.read()  
    pbody = res.read(10)

返回：  
网页内容字符串  
  
  
7、HTTPResponse对象的其它方法或属性  
方法：  
getheaders()  
获得所有的响应头内容，是一个元组列表\[(name,value),(name2,value2)\]  
getheader(name\[,default\])  
获得指定的头内容  
fileno()  
socket的fileno  
  
属性：  
msg  
所有的头信息，和getheaders方法一样，只不过这个是原始未处理的字符串  
status  
当次请求的状态  
version  
当次请求的http协议版本，10是http1.0, 11是http/1.1  
reason  
当次请求的结果的表述内容，200是ok，404是Not Found  
  
  
总体实例：

#!/usr/bin/env python    
    # -*- coding: utf-8 -*-    
    import httplib  
    import urllib  
      
       
    def sendhttp():  
        data = urllib.urlencode({'@number': 12524, '@type': 'issue', '@action': 'show'})     
        headers = {"Content-type": "application/x-www-form-urlencoded",  
                   "Accept": "text/plain"}  
        conn = httplib.HTTPConnection('bugs.python.org')  
        conn.request('POST', '/', data, headers)  
        httpres = conn.getresponse()  
        print httpres.status  
        print httpres.reason  
        print httpres.read()  
                 
                    
    if __name__ == '__main__':    
        sendhttp()

还有一个获取头部信息的简单例子

import httplib
    
    url = "www.baidu.com"
    conn = httplib.HTTPConnection(url)
    conn.request("GET", "/")
    r=conn.getresponse()
    h = r.getheaders()
    for hh in h:
        print hh

当然了还可以使用urllib2模块，来获取头部信息

from urllib2 import urlopen, HTTPError
    webURL = 'http://www.sina.com'
    try:
        res = urlopen(webURL)
        print res.info()
        print res.geturl()
    except HTTPError as e:
        print e.code
    except:
        print "Error!!"

当然最简单的方法就是用curl命令啦

curl  --head http://www.baidu.com

输出：

HTTP/1.1 200 OK
    Date: Wed, 10 Apr 2013 10:12:35 GMT
    Server: BWS/1.0
    Content-Length: 10320
    Content-Type: text/html;charset=utf-8
    Cache-Control: private
    Expires: Wed, 10 Apr 2013 10:12:35 GMT
    Set-Cookie: H_PS_PSSID=1467_1945_1788_2141_2209; path=/; domain=.baidu.com
    Set-Cookie: BAIDUID=3FB8134FCB07E7C1E557B841CAA1596E:FG=1; expires=Wed, 10-Apr-43 10:12:35 GMT; path=/; domain=.baidu.com
    P3P: CP=" OTI DSP COR IVA OUR IND COM "
    Connection: Keep-Alive

当然还有其它的一些信息，比如异常类型，比如http的code对应表及查询字典等等，可以直接参考官网httplib文档： [http://docs.python.org/library/httplib.html][http_docs.python.org_library_httplib.html]

[http_docs.python.org_library_httplib.html]: http://docs.python.org/library/httplib.html