selenium使用代理爬取数据

痛定思痛。 2023-07-16 09:00 14阅读 0赞

# 代理 #

因为chrome的代理使用目前还有一些问题，所以本文全部用的Firefox

## http协议 ##

host = "127.0.0.1"
    port = 9999
    profile = webdriver.FirefoxOptions()
    profile.set_preference('network.proxy.type', 1)
    profile.set_preference('network.proxy.http', host)  # IP为你的代理服务器地址:如‘127.0.0.0’，字符串类型
    profile.set_preference('network.proxy.http_port', port)  # PORT为代理服务器端口号:如，9999，整数类型
    browser = webdriver.Firefox(options=profile)

## https协议 ##

host = "127.0.0.1"
    port = 9999
    profile = webdriver.FirefoxProfile()
    profile.set_preference('network.proxy.type', 1)
    profile.set_preference('network.proxy.http', "%s" % host)
    profile.set_preference('network.proxy.http_port', port)
    profile.set_preference('network.proxy.ssl', "%s" % host)
    profile.set_preference('network.proxy.ssl_port', port)
    profile.update_preferences()
    browser = webdriver.Firefox(firefox_profile=profile)

# 拨号上网 #

还有一种情况就是可以通过拨号上网的方式实现不停地切换ip，从而防止ip地址被封。

# 先将网络断开
    os.system('Rasdial 宽带连接 /DISCONNECT')
    # 然后重新连接网络
    os.system('Rasdial 宽带连接 宽带用户名 宽带密码')
    # 判断网络是否重连成功
    # 如果有网络，则res为0，否则为1
    res = os.system('ping www.baidu.com')
    if not res:
    	print('网络重连成功')
    else:
    	print('网络重连失败')

发表评论取消回复

表情：

评论列表（有 0 条评论，14人围观）

还没有评论，来说两句吧...

相关阅读

相关 Selenium实战之Python+Selenium爬取商品数据

实战目标：爬取商品信息，包括商品的标题、链接、价格、评价数量。代码核心在于这几个部分：其一：使用元素定位来获取页面上指定需要抓取的关键字；其二：将页面上定

系统管理员/ 2024年03月17日 10:13/ 0 赞/ 50 阅读

相关 selenium京东商城爬取

该项目主要参考与:[http://c.biancheng.net/python\_spider/selenium-case.html][http_c.biancheng.net

柔光的暖阳◎/ 2024年02月26日 07:53/ 0 赞/ 71 阅读

相关 selenium使用代理爬取数据

代理因为chrome的代理使用目前还有一些问题，所以本文全部用的Firefox http协议 host = "127.0.0.1" port =

痛定思痛。/ 2023年07月16日 09:00/ 0 赞/ 15 阅读

相关 golang使用selenium逐页爬取url

一、centos7安装chrome [root@localhost ~] echo '[google-chrome] name=google-chrome

墨蓝/ 2023年01月13日 01:46/ 0 赞/ 167 阅读

相关使用xpath爬取数据

> 使用xpath来提取数据，爬取数据的简单语法。下载模块 [快速下载模块][Link 1] pip install lxml 导入模块

曾经终败给现在/ 2023年01月01日 03:37/ 0 赞/ 184 阅读

相关使用selenium爬取京东商品信息

> 任务要求： > 用selenium爬取京东商城某一款华为手机的评论，要求至少爬取2000条用户名和用户评论，网址为https://www.jd.com/，将这些信息存入

约定不等于承诺〃/ 2022年12月29日 09:37/ 0 赞/ 270 阅读

相关利用selenium爬取数据总结

selenium的介绍知识点：了解 selenium的工作原理了解 selenium以及chromedriver的安装掌握标签对象cli

傷城~/ 2022年12月28日 04:06/ 0 赞/ 228 阅读

相关 [selenium]selenium驱动chrome爬取网页/无界面chrome/使用代理

selenium与chromedriver安装安装chrome（有版本要求，linux和windows版本要求不同，可自行查阅，尽量使用61+版本的chrome）

我会带着你远行/ 2022年05月31日 12:56/ 0 赞/ 219 阅读

相关【selenium+chromedriver】设置代理爬取拉勾网

from selenium import webdriver from lxml import etree import re chr

深藏阁楼爱情的钟/ 2021年12月04日 01:11/ 0 赞/ 350 阅读

相关 Python爬虫——使用Python爬取代理数据

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

旧城等待，/ 2021年07月25日 12:20/ 0 赞/ 504 阅读