Python3 urllib库学习

拼搏现实的明天。 2022-06-01 07:50 268阅读 0赞

# python3将python2的urllib和urllib2库整合为一个urllib库，由于近期用到了这个库就参考官方文档和网上的资料总结了一下   导入 #

import urllib

--------------------

# urllib.request #

## urllib.request.urlopen() ##

**发起一个请求**

response = urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) 
    # url 要打开的网址，可以是字符串或者是request对象
    # data 要发送给服务器的数据（POST方法）
    # timeout 网站的访问超时时间，单位为s
    # cafile和capath 用于HTTPS请求中，设置CA证书及其路径

**返回对象提供的方法**

*      read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作
 *      info()：返回HTTPMessage对象，表示远程服务器返回的头信息
 *      getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到
 *      geturl()：返回请求的url

**返回对象的属性**  
对于HTTP 和 HTTPS请求

*  status 返回状态码
 *  reason 返回状态的详细信息

--------------------

## urllib.request.Request() ##

使用该方法来**返回一个request对象**

request = urllib.request.Request(url, data=None, headers={ }, origin_req_host=None, unverifiable=False, method=None)
    # url 包含网址的字符串
    # data 要发送给服务器的数据对象，对于POST请求，要通过urllib.parse.urlencode() 方法进行编码
    # header 头部信息，必须为字典类型
    # method 请求方法，如果data为None则为GET，否则为POST

**头部信息示例**

headers = { 
         'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                       r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
         'Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label',
         'Connection': 'keep-alive'
      }

*      User-Agent ：这个头部可以携带如下几条信息：浏览器名和版本号、操作系统名和版本号、默认语言
 *      Referer：可以用来防止盗链，有一些网站图片显示来源http://***.com，就是检查Referer来鉴定的
 *      Connection：表示连接状态，记录Session的状态。

也可以通过返回的request对象的 **add\_header(key, val)** 方法来添加header信息

request.add_header('Origin', 'https://passport.weibo.cn')
    request.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25')
    request.add_header('Referer', 'https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=http%3A%2F%2Fm.weibo.cn%2F')

--------------------

## urllib.request.ProxyHandler() ##

使用同一个IP去爬取同一个网站上的网页，久了之后会被该网站服务器屏蔽。**使用代理服务器**。 （使用代理服务器去爬取某个网站的内容的时候，在对方的网站上，显示的不是我们真实的IP地址，而是代理服务器的IP地址）

urllib.request.ProxyHandler(proxies=None)

data = {
            'name': 'zjw',
            'age': 23,
            'gender': 'male'
        }
    proxy = request.ProxyHandler({'http': '5.22.195.215:80'})  # 设置proxy
    opener = request.build_opener(proxy)  # 挂载opener
    request.install_opener(opener)  # 安装opener
    data = parse.urlencode(data).encode('utf-8')
    page = opener.open(url, data).read()
    page = page.decode('utf-8')
    return page

--------------------

## urllib.request.urlretrieve() ##

**将远程数据下载到本地**，例如下载图片

urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None)
    #返回由文件名及头部信息组成的元组(filename, headers)
    #url 远程数据的地址
    #filename 保存文件的路径，如果为空，则下载为临时文件
    #reporthook 钩子函数 连接服务器成功以及每个数据块下载完成时各调用一次，包含3个参数，依次为已经下载的数据块，数据块的大小，总文件的大小，可用于显示下载进度
    #data post到服务器的数据

--------------------

# urllib.parse #

## urllib.parse.urlencode() ##

**将包含字符串或字节内容的映射对象或二维元组序列转换为ASCII文本字符**

urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None, quote_via=quote_plus)

其转换结果用于**POST**操作时，还需将其编码为字节

data = { 
        'name': 'zjw',
        'age': 23,
        'gender': 'male'
    }
    data = urllib.parse.urlencode(data).encode('utf-8')
    #经编码后结果为 b'name=zjw&age=23&gender=male'
    #返回结果需解码
    response = request.urlopen(url, data=data).read().decode('utf-8')

--------------------

## urllib.parse.parse\_qs() ##

**将返回的query字符串转换为字典**

urllib.parse.parse_qs(qs, keep_blank_values=False, strict_parsing=False, encoding='utf-8', errors='replace')
    # 例如 {b'name':[b'zjw'],b'age':[b'23'],b'gender':[b'male']}

--------------------

## urllib.parse.parse\_qsl() ##

**将返回的query字符串转换为包含二维元组的列表**

urllib.parse.parse_qsl(qs, keep_blank_values=False, strict_parsing=False, encoding='utf-8', errors='replace')
    # 例如 [(b'name',b'zjw'),(b'age',b'23'),(b'gender',b'male')]

--------------------

# urllib.error #

**错误：**

*  **urllib.error.URLError**
 *  **urllib.error.HTTPError**
 *  **urllib.error.ContentTooShortError**  
    当urlretrieve（）方法下载数据的大小小于实际期望值时触发该错误

**处理：**

from urllib.request import Request, urlopen
    from urllib.error import URLError, HTTPError
    
    req = Request('http://www.python.org/')
    try:
    　　response = urlopen(req)
    except HTTPError as e:
    　　print('The (www.python.org)server could not fulfill the request.')
    　　print('Error code: ', e.code)
    except URLError as e:
    　　print('We failed to reach a server.')
    　　print('Reason: ', e.reason)
    else:
    　　print("good!")
    　　print(response.read().decode("utf8"))

--------------------

如果觉得这篇文章帮助了您，请打赏一个小红包鼓励作者继续创作哦！！！

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pqd19weXRob24_size_16_color_FFFFFF_t_70_pic_center]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pqd19weXRob24_size_16_color_FFFFFF_t_70_pic_center]: /images/20220601/91ebb0a793d54f888a9dbdaa9ef45fcf.png