Python爬虫之urllib简单下载内容

水深无声 2022-06-03 05:35 272阅读 0赞

一、保存下载文件到本地

#encoding=utf-8
    import urllib.request 
    url = 'http://www.baidu.com'
    local_path = 'C:\\Users\\lenovo\\Desktop\\download.html'  
    #下载内容到本地
    urllib.request.urlretrieve(url, local_path)

二、下载打印

import urllib.request  
    response=urllib.request.urlopen('http://www.google.com') 
    html=response.read()  
    print(html)

urlopen返回一个类文件对象,可以像文件一样操作,同时支持一下三个方法:  
info()：返回一个对象，表示远程服务器返回的头信息。  
getcode()：返回Http状态码，如果是http请求，200表示请求成功完成;404表示网址未找到。  
geturl()：返回请求的url地址。

三、设置代理

#设置全局代理 
    import urllib.request  
    handler=urllib.request.ProxyHandler({
       'http':'http://someproxy.com:8080'})  
    opener=urllib.request.build_opener(handler)  
    urllib.request.install_opener(opener)#安装opener作为urlopen()使用的全局URL opener，即以后调用urlopen()时都会使用安装的opener对象。 
    response=urllib.request.urlopen('http://www.google.com')  
    print(response.read())

或者是这么写

#设置代理  
    import urllib.request  
    handler=urllib.request.ProxyHandler({ 'http':'http://someproxy.com:8080'}) opener=urllib.request.build_opener(handler) response=opener.open('http://www.google.com') print(response.read())

发表评论取消回复

表情：

评论列表（有 0 条评论，272人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬虫基础：简单的爬虫入门示例（urllib库）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIz

心已赠人/ 2023年10月07日 10:41/ 0 赞/ 33 阅读

相关 python爬虫入门之urllib库的基本使用(附实战训练爬取内容)

完整代码点赞关注收藏后私信博主要 urllib库是python内置的一个HTTP请求库由四个模块组成 1:request模块打开和浏览URL中的内容 2：error模

冷不防/ 2023年09月30日 15:46/ 0 赞/ 14 阅读

相关 python urllib.request 爬虫数据处理-运维学python之爬虫基础篇（二）urllib模块使用...

1 何为爬虫网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用

向右看齐/ 2022年11月21日 14:13/ 0 赞/ 248 阅读

相关 urllib库的简单使用 && 一个简单的Python爬虫示例

urllib库的简单使用 && 一个简单的Python爬虫示例本篇文章，介绍`urllib.request`库的简单使用以及注意的问题。最后实现一个Python爬虫的示

￡神魔★判官ぃ/ 2022年06月06日 12:05/ 0 赞/ 340 阅读

相关 Python爬虫之urllib简单下载内容

一、保存下载文件到本地 encoding=utf-8 import urllib.request url = 'http://www.baidu.c

水深无声/ 2022年06月03日 05:35/ 0 赞/ 273 阅读

相关 Python爬虫-urllib2（2）

Python爬虫-urllib2（2） @(博客)\[python, 爬虫, urllib2, Python, 代理\] Python爬虫-urllib2（2）

比眉伴天荒/ 2022年05月24日 04:45/ 0 赞/ 329 阅读

相关 Python爬虫-urllib2（1）

Python爬虫-urllib2（1） @(博客)\[python, 爬虫, urllib2, Python\] Python爬虫-urllib2（1）

叁歲伎倆/ 2022年05月24日 02:59/ 0 赞/ 312 阅读

相关 Python之urllib爬虫

爬虫案例如下：在豆瓣上爬取喜剧的前20条数据引入urllib import urllib import urllib.request fro

偏执的太偏执、/ 2022年03月25日 04:26/ 0 赞/ 341 阅读

相关 python爬虫（三）之 Urllib库的基本使用

什么是Urllib？ Urllib是python内置的HTTP请求库包括以下模块 urllib.request 请求模块 urllib.error 异常处理

港控/mmm°/ 2021年11月23日 02:18/ 0 赞/ 367 阅读

相关爬虫之urllib库使用

请求方法request import urllib.request url = "https://blog.csdn.net/fengxinlinux/a

我就是我/ 2021年11月05日 09:46/ 0 赞/ 396 阅读