Python极简教程之八：网络爬虫入门

小鱼儿 2022-04-13 03:47 228阅读 0赞

**读取网页**

下载后使用`gbk`解码。

import urllib2
    
    url = 'http://www.domain.com/domestic'
    # download
    resp = urllib2.urlopen(url).read()
    # decode
    resp = resp.decode('gbk')
    # print
    print(resp)

**传入参数**

传参调用，针对`?`后面的查询字符串。

import urllib
    import urllib2
     
    url = 'http://www.domain.com/domestic'
    # prepare request
    req = urllib2.Request(url)
    data = urllib.urlencode({ 'typeId': 123})
    # download
    resp = urllib2.urlopen(req, data).read()
    # decode
    resp.decode('gbk')
    # print
    print(resp)

**GZIP 解析**

部分站点的网页开启了`gzip`压缩，这样我们下载之后得到的页面需要解压之后才可以看到具体的内容。

import gzip
    import StringIO
    import urllib2
     
    # download
    resp = urllib2.urlopen('http://www.domain.com/domestic').read()
    # decode
    resp = gzip.GzipFile(fileobj=StringIO.StringIO(resp)).read()
    # print
    print(resp)

**下载图片**

此处以下载百度logo为例。

import urllib2
     
    url = 'http://www.baidu.com/img/bd_logo1.png'
    name = url.split('/').pop()
    # open file
    with open(name, 'wb') as code:
        # download
        b = urllib2.urlopen(url).read()
        # save to local
        code.write(b)

**批量调用**

从一个文本文件中读取Url数据集。

import urllib2
     
    # read url collection
    f = open('urls.txt', 'r')
    url_arr = f.readlines()
    f.close()
    # invoke
    i = 0
    for url in url_arr:
        # index
        i += 1
        print i
        # load url
        html = urllib2.urlopen(url).read()
        # print
        print(html)

发表评论取消回复

表情：

评论列表（有 0 条评论，228人围观）

还没有评论，来说两句吧...

相关阅读

相关八.SpringCloud极简入门-熔断器Hystrix

老鸟飞过，只做学习使用，欢迎交流 1.理解Hystrix 1.1.雪崩效应在电影里面经常出现的场景，在冰山雪地不要大声呼喊，因为声音的震动会导致雪球的滑落，然后

水深无声/ 2023年07月18日 02:51/ 0 赞/ 123 阅读

相关 MongoDB 入门极简教程

[https://my.oschina.net/kangvcar/blog/1558252][https_my.oschina.net_kangvcar_blog_155825

太过爱你忘了你带给我的痛/ 2022年06月05日 12:28/ 0 赞/ 308 阅读

相关 Python极简教程之八：网络爬虫入门

读取网页下载后使用`gbk`解码。 import urllib2 url = 'http://www.domain.com/domestic'

小鱼儿/ 2022年04月13日 03:47/ 0 赞/ 229 阅读

相关 Python极简教程之六：集合之排序（sorted）

python集合的排序主要使用`cmp`关键字来定义比对函数，以下针对几个较为典型的类型列举出对应的方法：正序排列普通一维数组（数值、字符串数组） num =

朴灿烈づ我的快乐病毒、/ 2022年04月13日 03:47/ 0 赞/ 598 阅读

相关 Python极简教程之五：集合之字典（dictionary）

Python的Dictionary类型接近Javascript的JSON格式，其用法也有所相似。定义一个字典 dic = {'key': 'value'} 遍历

Myth丶恋晨/ 2022年04月13日 03:47/ 0 赞/ 255 阅读

相关 Python极简教程之三：集合之列表（list）

语法 arr = [ ] arr = ['a', 'b', 'c'] 二维数组 a = [1, 2, [1, 2, 3]] 多维数组

- 日理万妓/ 2022年04月13日 03:47/ 0 赞/ 237 阅读

相关 Python极简教程之二：数据类型

基础类型数字（Numbers） Python 支持五种基本数字类型，分别为`int`（有符号整数）、`long`（长整数）、`bool`（布尔值）、`float`

分手后的思念是犯贱/ 2022年04月13日 03:46/ 0 赞/ 233 阅读

相关 Python极简教程之一：初步

Python，是一种面向对象、解释型计算机程序设计语言，由 Guido van Rossum 于 1989 年发明，第一个公开发行版发行于 1991 年。 Python 是纯

ゝ一纸荒年。/ 2022年04月13日 03:44/ 0 赞/ 318 阅读

相关爬虫 scrapy 框架极简入门

前言工作需要，对 scrapy 进行了解，并逐步开始使用。门槛不高，有些许 Python 编程经验就可。 1.入门第一步：搭环境，先把 python 环境搞定

迈不过友情╰/ 2022年02月26日 11:58/ 0 赞/ 358 阅读

相关 Nginx 极简入门教程！

上篇文章和大家聊了 Spring Session 实现 Session 共享的问题，有的小伙伴看了后表示对 Nginx 还是很懵，因此有了这篇文章，算是一个 Nginx 扫盲入

比眉伴天荒/ 2022年01月22日 04:23/ 0 赞/ 377 阅读