python爬虫的urllib2库的使用

末蓝、 2021-10-14 01:52 457阅读 0赞

环境： python2

备注：在python2中叫做urllib2，在python3中使用的是urllib.request，和前面urllib2的使用方法一样的

**1----urllib2的最简单使用**

# -*- coding=utf-8 -*-
    # 直接这样使用的时候，urllib2不支持构造request
    
    import urllib2
    
    response = urllib2.urlopen("http://www.baidu.com")
    
    html = response.read()
    # 返回响应页面
    print(html)
    # 返回响应码
    code = response.getcode()
    
    print(code)
    # 返回的是返回真实数据的url（如果返回数据的url被重定向的话，可从这里获取到真实的url信息）
    url = response.geturl()
    
    print(url)
    # 返回的是响应的报头信息
    info = response.info()
    
    print(info)

**2-urllib2的正确使用方式**

# -*- coding=utf-8 -*-
    # 这样使用可以构造其他请求头信息，如User-Agent
    import urllib2
    
    # 构造headers
    headers = {
        "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"}
    
    resquest = urllib2.Request("http://www.baidu.com/", headers=headers)
    
    response = urllib2.urlopen(resquest)
    
    html = response.read()
    print(html)
    
    code = response.getcode()
    print(code)
    
    url = response.geturl()
    print(url)
    
    info = response.info()
    print(info)

发表评论取消回复

表情：

评论列表（有 0 条评论，457人围观）

还没有评论，来说两句吧...

相关阅读

相关【一起学爬虫】Urllib库的使用

\回顾由上一篇文章知道：通过python代码向服务器发送request，然后通过获取response就可以获取到网页的内容了。那么python如何向网站发起请求呢？这个过程又

素颜马尾好姑娘i/ 2022年10月01日 10:52/ 0 赞/ 310 阅读

相关 python爬虫 - Urllib库及cookie的使用

http://[blog.csdn.net/pipisorry/article/details/47905781][blog.csdn.net_pipisorry_articl

悠悠/ 2022年08月04日 10:51/ 0 赞/ 283 阅读

相关【Python】基于python的urllib库编写网络爬虫

1.前言基于python的urllib库编写爬虫爬取前程无忧招聘网站的招聘数据。 2.python代码 coding:utf-8 import

「爱情、让人受尽委屈。」/ 2022年06月12日 00:00/ 0 赞/ 256 阅读

相关 urllib库的简单使用 && 一个简单的Python爬虫示例

urllib库的简单使用 && 一个简单的Python爬虫示例本篇文章，介绍`urllib.request`库的简单使用以及注意的问题。最后实现一个Python爬虫的示

￡神魔★判官ぃ/ 2022年06月06日 12:05/ 0 赞/ 339 阅读

相关 Python网络爬虫笔记（5）urllib2库的基本使用

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。在Python中有很多库可以用来抓取网页，我们先学习`urllib2`。 > urllib2

超、凢脫俗/ 2022年05月27日 06:58/ 0 赞/ 275 阅读

相关 Python爬虫-urllib2（2）

Python爬虫-urllib2（2） @(博客)\[python, 爬虫, urllib2, Python, 代理\] Python爬虫-urllib2（2）

比眉伴天荒/ 2022年05月24日 04:45/ 0 赞/ 328 阅读

相关【Python爬虫】requests与urllib库的区别

我们在使用python爬虫时，需要模拟发起网络请求，主要用到的库有requests库和python内置的urllib库，一般建议使用requests，它是对urllib的再次封

曾经终败给现在/ 2022年04月01日 11:19/ 0 赞/ 472 阅读

相关 python爬虫（三）之 Urllib库的基本使用

什么是Urllib？ Urllib是python内置的HTTP请求库包括以下模块 urllib.request 请求模块 urllib.error 异常处理

港控/mmm°/ 2021年11月23日 02:18/ 0 赞/ 366 阅读

相关爬虫之urllib库使用

请求方法request import urllib.request url = "https://blog.csdn.net/fengxinlinux/a

我就是我/ 2021年11月05日 09:46/ 0 赞/ 395 阅读

相关 python爬虫的urllib2库的使用

环境： python2 备注：在python2中叫做urllib2，在python3中使用的是urllib.request，和前面urllib2的使用方法一样的 1----

末蓝、/ 2021年10月14日 01:52/ 0 赞/ 458 阅读