Python网络编程（三）-urllib库的使用

我会带着你远行 2023-10-05 19:58 17阅读 0赞

**1. urllib简介：**

urllib可以说是Python最简单的网络数据请求库。urllib是Python自带的标准库，无需安装，直接可以用。  
urllib为用户提供了下面的功能：  
网页数据请求  
响应结果获取  
代理和cookie设置  
异常处理  
URL解析

**2. urllib实例：**

**使用urllib获取百度首页的网页数据：**

#!/usr/bin/python3
    # -*- coding: UTF-8 -*-
    import urllib.request
    
    #urllib request test 
    def test_urllib_request(url):
    	page = urllib.request.urlopen(url)
    	htmlCode = page.read() #获取网页源代码
    	#print(htmlCode)
    	data = htmlCode.decode("UTF-8")
    	#print(data)
    	#print(htmlCode.decode('utf-8')) #打印网页源代码
    	return data
    
    
    #main
    if __name__ == '__main__':
    	print("urllib test:")
    	url='http://www.baidu.com'
    	res=test_urllib_request(url)
    	print(res)

**运行结果**（截取最前面的一小部分）：

> urllib test:
> 
> <!DOCTYPE html>
> 
> <html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta content="always" name="referrer"><meta name="theme-color" content="\#2932e1"><meta name="description" content="全球最大的中文搜索引擎、致力于让网民更便捷地获取信息，找到所求。百度超过千亿的中文网页数据库，可以瞬间找到相关的搜索结果。"><link rel="shortcut icon" href="/favicon.ico" type="image/x-icon" /><link rel="search" type="application/opensearchdescription+xml" href="/content-search.xml" title="百度搜索" /><link rel="icon" sizes="any" mask href="//www.baidu.com/img/baidu\_85beaf5496f291521eb75ba38eacbd87.svg"><link rel="dns-prefetch" href="//dss0.bdstatic.com"/><link rel="dns-prefetch" href="//dss1.bdstatic.com"/><link rel="dns-prefetch" href="//ss1.bdstatic.com"/><link rel="dns-prefetch" href="//sp0.baidu.com"/><link rel="dns-prefetch" href="//sp1.baidu.com"/><link rel="dns-prefetch" href="//sp2.baidu.com"/><title>百度一下，你就知道</title><style index="newi" type="text/css">\#form .bdsug\{top:39px\}.

**代码说明：**

urllib.request.urlopen返回一个http.client.HTTPResponse对象，使用HTTPResponse，可以读取网页内容，获取响应结果。

**响应结果：**

（1）状态信息：  
print(res.status) \#返回状态码200  
print(res.msg) \#访问成功返回ok  
print(res.version) \#返回版本信息  
print(res.reason) \#返回状态信息  
print(res.closed) \#返回对象是否关闭，返回值为一个bool值  
print(res.debuglevel) \#返回调试等级

（2）响应数据：  
print(res.read().decode('utf-8')) \#返回网页内容  
print(res.readline().decode('utf-8')) \#逐行读取，只返回当前行的内容  
print(res.readlines()) \#逐行读取之后，返回一个字符串列表,注意列表list没有decode()方法  
print(res.info()) \#返回网页的头信息  
print(res.getheader(name)) \#返回响应头中键为name的值  
print(res.getheaders()) \#以列表元组的形式返回响应头信息  
print(res.getcode()) \#返回响应的HTTP状态码  
print(fileno()) \#返回文件描述符  
print(geturl()) \#返回检索的URL

--------------------

详细熟悉所用的组件的方法，快速进阶。