Python中爬取网页的几种方法

不念不忘少年蓝@ 2023-07-18 03:23 16阅读 0赞

爬虫是Python语言最基本的用法之一,爬虫的前提就是数据请求,数据请求方法就urlopen和requests这两种比较常用,而两种方法大同小异,具体我们通过代码来看看

## urlopen方法 ##

urlopen分为两种情况:

一:请求网址中没有中文

from urllib.request import Request,urlopen
    def url_urlopen(self):
            url='https://blog.csdn.net/'
            headers = {
                'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
            }
            request=Request(url,headers=headers)
            response=urlopen(request)
            code=response.read().decode()
            print(code)

二:请求网址中有中文,需要对网址进行解析

from urllib.request import Request,urlopen
    from urllib.parse import quote
    import string
    def url_urlopen(self):
        url='https://www.sojson.com/open/api/weather/xml.shtml?city=郑州'
        response=urlopen(quote(url,safe=string.printable))
        code=response.read().decode()
        print(code)

## requests方法 ##

request方法没有对网址的要求,相对于urlopen比较简单

import requests
    def url_requests(cls):
        url='https://blog.csdn.net/'
        headers = {
                'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
            }
        code=requests.get(url,headers=headers).content.decode()
        print(code)

# 请求方法进阶 #

上面这两种方法不支持修改ip,获取cookie,验证代理等内容

如果要使用这些内容,需要使用build\_opener来进行处理

## (1)修改IP ##

**1.导入相关第三方库**

import random
    from urllib.request import Request,urlopen,ProxyHandler,bulid_opener

** 2.准备一些IP(注意域名),并设置headers**

ip_list=[
        '255.255.255.99:99',
        '255.255.254.99:99',
        '255.255.253.99:99',
        '255.255.252.99:99',
    ]
    headers = {
                'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
            }

**3.请求网址并随机一个ip**

**           ** 如果域名是http,则key值为http

如果域名是https,则key值为https

proxy={ 'http':random.choice(ip_list)}
    request=Request('http://www.baidu.com',headers=headers)

###  4.利用build\_operner来使用替换ip(重点) ###

proxy_handler=ProxyHandler(proxy)
    opener=build_opener(proxy_handler)
    response=opener.open(request)
    
    code=response.read().decode()
    print(code)

## (2)获取cookie ##

**1.导入相关第三方库**

from http.cookiejar import CookieJar
    from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener

**2.创建一个管理cookie的对象并使用获取到的cookie进行访问**

cookie_obj=CookieJar()
    cookie_handler=HTTPCookieProcessor(cookie_obj)
    opener=build_opener(cookie_handler)
    
    response=opener.open('http://www.neihanshequ.com')
    code=response.read().decode()
    print(code)

关于数据请求就说到这里吧,学会后爬取静态数据基本上没什么问题了,爬取动态数据之后再说