Python爬虫Requests使用

我会带着你远行 2022-09-11 10:28 318阅读 0赞

## 1.基本使用 ##

官方文档

> https://cn.python-requests.org/zh\_CN/latest/

快速上手

> https://cn.python-requests.org/zh\_CN/latest/user/quickstart.html

安装

> pip install requests -i https://pypi.douban.com/simple

response的属性以及类型

类型 ：models.Response

*  response.text：获取网站源码
 *  response.encoding：访问或定制编码方式
 *  response.url：获取请求的url
 *  response.content：响应的字节类型
 *  response.status\_code：响应的状态码
 *  response.headers：响应的头信息

import requests
    
    url = 'http://www.baidu.com'
    
    response = requests.get(url=url)
    
    # 一个类型和六个属性
    # Response类型
    print(type(response))
    
    # 设置响应的编码格式
    response.encoding = 'utf-8'
    
    # 以字符串的形式来返回了网页的源码
    print(response.text)
    
    # 返回一个url地址
    print(response.url)
    
    # 返回的是二进制的数据
    print(response.content)
    
    # 返回响应的状态码
    print(response.status_code)
    
    # 返回的是响应头
    print(response.headers)

## 2.get请求 ##

requests.get()

import requests
    url = 'https://www.baidu.com/s'
    headers = { 
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
    }
    data = { 
        'wd':'北京'
    }
    
    # url 请求资源路径
    # params 参数
    response = requests.get(url=url,params=data,headers=headers)
    
    content = response.text
    
    print(content)

> 总结：
> 
>  *  参数使用params传递
>  *  参数无需urlencode编码
>  *  不需要请求对象的定制
>  *  请求资源路径中的？可以加也可以不加

## 3.post请求 ##

requests.post()

import requests
    url = 'https://fanyi.baidu.com/sug'
    headers = { 
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
    }
    
    data = { 
        'kw': 'eye'
    }
    
    # url 请求地址
    # data 请求参数
    response = requests.post(url=url,data=data,headers=headers)
    
    content =response.text
    import json
    obj = json.loads(content,encoding='utf-8')
    print(obj)

> 总结：
> 
>  *  post请求 是不需要编解码
>  *  post请求的参数是data
>  *  不需要请求对象的定制

get和post区别？

*  get请求的参数名字是params post请求的参数的名字是data
 *  请求资源路径后面可以不加?
 *  不需要手动编解码
 *  不需要做请求对象的定制

## 4.代理 ##

proxy定制，在请求中设置proxies参数，参数类型是一个字典类型

import requests
    url = 'http://www.baidu.com/s?'
    headers = { 
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
    }
    
    data = { 
        'wd':'ip'
    }
    
    proxy = { 
        'http':'211.65.197.93:80'
    }
    
    response = requests.get(url = url,params=data,headers = headers,proxies = proxy)
    response.encoding = 'utf-8'
    content = response.text
    
    with open('daili.html','w',encoding='utf-8')as fp:
        fp.write(content)