python requests 使用代理

àì夳堔傛蜴生んèń 2021-09-02 10:33 449阅读 0赞

在python中，`requests`使用代理要比`urllib`好用太多，urllib还是有些交互性差。

### HTTP代理 ###

如果需要使用代理，你可以通过为任意请求方法提供 `proxies` 参数来配置单个请求:

import requests
    
    proxies = {
      "http": "http://10.10.1.10:3128",
      "https": "http://10.10.1.10:1080",
    }
    
    requests.get("http://example.org", proxies=proxies)

你也可以通过环境变量 `HTTP_PROXY` 和 `HTTPS_PROXY` 来配置代理。

$ export HTTP_PROXY="http://10.10.1.10:3128"
    $ export HTTPS_PROXY="http://10.10.1.10:1080"
    
    $ python
    >>> import requests
    >>> requests.get("http://example.org")

若你的代理需要使用HTTP Basic Auth，可以使用 `http://user:password@host/` 语法：

proxies = {
        "http": "http://user:pass@10.10.1.10:3128/",
    }

要为某个特定的连接方式或者主机设置代理，使用 `scheme://hostname` 作为 key， 它会针对指定的主机和连接方式进行匹配。

proxies = {'http://10.20.1.128': 'http://10.10.1.10:5323'}

注意，代理 URL 必须包含连接方式。

### socks5代理 ###

import requests
    
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36'
    }
    
    proxies = {
        "http": "socks5://127.0.0.1:1086",
        'https': 'socks5://127.0.0.1:1086'
    }
    
    url = 'https://www.google.com/search?q=python'
    res = requests.get(url, headers=headers, proxies=proxies)
    print(res)

发表评论取消回复

表情：

评论列表（有 0 条评论，449人围观）

还没有评论，来说两句吧...

相关阅读

相关 python 爬虫 1 （urllib、requests的使用、代理服务器）

urllib、requests的使用写在前面 1、urllib的使用 1.1、request.urlopen

我会带着你远行/ 2023年10月08日 12:04/ 0 赞/ 72 阅读

相关 Python_requests 使用本地ssr代理

代码： import requests proxies = { 'https': 'https://127.0.0.1:108

- 日理万妓/ 2022年11月27日 08:58/ 0 赞/ 571 阅读

相关 Python request简单使用

欢迎加入学习交流QQ群：657341423 -------------------- python request模块通过模拟用户访问web网站，实际运用到Html的pos

素颜马尾好姑娘i/ 2022年09月30日 12:53/ 0 赞/ 41 阅读

相关 Python爬虫Requests使用

1.基本使用官方文档 > https://cn.python-requests.org/zh\_CN/latest/ 快速上手 > https://cn.pyth

我会带着你远行/ 2022年09月11日 10:28/ 0 赞/ 319 阅读

相关 python中requests使用代理proxies

学习网络爬虫难免遇到使用代理的情况，下面介绍一下如何使用requests设置代理：如果需要使用代理，你可以通过为任意请求方法提供 proxies 参数来配置单个请求:

Myth丶恋晨/ 2022年08月21日 07:39/ 0 赞/ 174 阅读

相关 Python、requests模块使用代理服务器实现微博访问

Python3.6.1 requests2.18.4 scrapy，beautifulsoup 开发工具sublime text 3 （此微博为博主原创，如果有想转载的同学请

ゝ一纸荒年。/ 2022年06月10日 11:11/ 0 赞/ 127 阅读

相关 Python代理使用

> “合群才是你堕落的开始” “堕落得心安理得” 一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可

缺乏、安全感/ 2022年05月31日 12:15/ 0 赞/ 178 阅读

相关 requests使用代理，session共享cookie

使用代理：在请求方法中，传递proxies参数就可以了 import requests proxy = { 'http': '12

比眉伴天荒/ 2022年05月16日 03:52/ 0 赞/ 334 阅读

相关 Python 爬虫，requests模块，代理

安装requests模块：pip3 install requests demo.py（requests模块）： import requests 导入。

布满荆棘的人生/ 2022年03月27日 08:46/ 0 赞/ 322 阅读

相关 python requests 使用代理

在python中，`requests`使用代理要比`urllib`好用太多，urllib还是有些交互性差。 HTTP代理如果需要使用代理，你可以通过为任意请求方法提供

àì夳堔傛蜴生んèń/ 2021年09月02日 10:33/ 0 赞/ 450 阅读