Selenium Python3 请求头配置

分手后的思念是犯贱 2022-05-16 13:54 182阅读 0赞

#### Selenium官方文档 ####

[https://seleniumhq.github.io/selenium/docs/api/py/api.html][https_seleniumhq.github.io_selenium_docs_api_py_api.html]

--------------------

## 谷歌浏览器 ##

### 一、chromeOptions相关配置 ###

chromeOptions 是一个配置 chrome 启动是属性的类。通过这个类，我们可以为chrome配置如下参数（这个部分可以通过selenium源码看到）：

1.设置 chrome 二进制文件位置 (**binary\_location**)  
2.添加启动参数 (**add\_argument**)  
3.添加扩展应用 (**add\_extension, add\_encoded\_extension**)  
4.添加实验性质的设置参数 (**add\_experimental\_option**)  
5.设置调试器地址 (**debugger\_address**)

**源码剖析:**

# .\Lib\site-packages\selenium\webdriver\chrome\options.py
    class Options(object):
        def __init__(self):
            self._binary_location = ''           # 设置 chrome 二进制文件位置
            self._arguments = []                 # 添加启动参数
            self._extension_files = []           # 添加扩展应用
            self._extensions = []
            self._experimental_options = {}      # 添加实验性质的设置参数
            self._debugger_address = None        # 设置调试器地址

#### 1.模拟移动设备 ####

# 通过设置user-agent，用来模拟移动设备
    user_ag='MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; '+
    'CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1'
    options.add_argument('user-agent=%s'%user_ag)
    #option.add_argument('--user-agent=iphone')

#### 2禁止图片加载 ####

from selenium import webdriver
    options = webdriver.ChromeOptions()
    prefs = {
       "profile.managed_default_content_settings.images": 2}
    options.add_experimental_option("prefs", prefs)
    driver = webdriver.Chrome(chrome_options=chrome_options)
    #或者 使用下面的设置, 提升速度
    options.add_argument('blink-settings=imagesEnabled=false')

#### 3.添加代理 ####

from selenium import webdriver
    # 静态IP：102.23.1.105：2005
    PROXY = "proxy_host:proxy:port"
    options = webdriver.ChromeOptions()
    desired_capabilities = options.to_capabilities()
    desired_capabilities['proxy'] = {
        "httpProxy": PROXY,
        "ftpProxy": PROXY,
        "sslProxy": PROXY,
        "noProxy": None,
        "proxyType": "MANUAL",
        "class": "org.openqa.selenium.Proxy",
        "autodetect": False
    }
    driver = webdriver.Chrome(desired_capabilities = desired_capabilities)

#### 4.浏览器启动时安装crx扩展 ####

# -*- coding=utf-8 -*-
    from selenium import webdriver
    option = webdriver.ChromeOptions()
    option.add_extension('d:\crx\AdBlock_v2.17.crx') # 自己下载的crx路径
    driver = webdriver.Chrome(chrome_options=option)
    driver.get('http://www.taobao.com/')

#### 5.加载所有Chrome配置 ####

用Chrome地址栏输入chrome://version/，查看自己的“个人资料路径”，然后在浏览器启动时，调用这个配置文件，代码如下：

#-*- coding=utf-8 -*-
    from selenium import webdriver
    option = webdriver.ChromeOptions()
    p=r'C:\Users\Administrator\AppData\Local\Google\Chrome\User Data'
    option.add_argument('--user-data-dir='+p)  # 设置成用户自己的数据目录
    driver = webdriver.Chrome(chrome_options=option)

#### 6.携带Cookie ####

chrome_options = Options()
    chrome_options.add_argument("user-data-dir=selenium") 
    driver = webdriver.Chrome(chrome_options=chrome_options)
    driver.get("http://www.baidu.com")

通过使用Chrome选项保持所有登录在会话之间持久**user-data-dir**

#### 7.其他 ####

# -*- coding: utf-8 -*-
    from selenium import webdriver
    options = webdriver.ChromeOptions()
    
    #谷歌无头模式
    options.add_argument('--headless')
    options.add_argument('--disable-gpu')#谷歌文档提到需要加上这个属性来规避bug
    
    options.add_argument('disable-infobars')#隐藏"Chrome正在受到自动软件的控制"
    options.add_argument('lang=zh_CN.UTF-8')      # 设置中文
    options.add_argument('window-size=1920x3000') # 指定浏览器分辨率
    options.add_argument('--hide-scrollbars')     # 隐藏滚动条, 应对一些特殊页面
    options.add_argument('--remote-debugging-port=9222')
    options.binary_location = r'/Applications/Chrome' #手动指定使用的浏览器位置
    
    # 更换头部
    user_agent = (
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) " +
        "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.57 Safari/537.36"
        )
    options.add_argument('user-agent=%s'%user_agent)
    
    #设置图片不加载
    prefs = {
        'profile.default_content_setting_values': {
            'images': 2
        }
    }
    options.add_experimental_option('prefs', prefs)
    #或者 使用下面的设置, 提升速度
    options.add_argument('blink-settings=imagesEnabled=false')
    
    
    #设置代理
    options.add_argument('proxy-server=' +'192.168.0.28:808')
    
    driver = webdriver.Chrome(chrome_options=options)
    
    #设置cookie
    driver.delete_all_cookies()# 删除所有的cookie
    driver.add_cookie({
       'name':'ABC','value':'DEF'})# 携带cookie打开
    driver.get_cookies()
    
    # 通过js新打开一个窗口
    driver.execute_script('window.open("https://www.baidu.com");')

--------------------

### 二、chrome地址栏命令 ###

about:version - 显示当前版本  
　　about:memory - 显示本机浏览器内存使用状况  
　　about:plugins - 显示已安装插件  
　　about:histograms - 显示历史记录  
　　about:dns - 显示DNS状态  
　　about:cache - 显示缓存页面  
　　about:gpu -是否有硬件加速  
　　about:flags -开启一些插件 //使用后弹出这么些东西：“请小心，这些实验可能有风险”，不知会不会搞乱俺的配置啊！  
　　chrome://extensions/ - 查看已经安装的扩展

### 三、 chrome实用参数　 ###

–user-data-dir=”\[PATH\]” 指定用户文件夹User Data路径，可以把书签这样的用户数据保存在系统分区以外的分区。  
　　–disk-cache-dir=”\[PATH\]“ 指定缓存Cache路径  
　　–disk-cache-size= 指定Cache大小，单位Byte  
　　–first run 重置到初始状态，第一次运行  
　　–incognito 隐身模式启动  
　　–disable-javascript 禁用Javascript  
　　–omnibox-popup-count=”num” 将地址栏弹出的提示菜单数量改为num个。我都改为15个了。  
　　–user-agent=”xxxxxxxx” 修改HTTP请求头部的Agent字符串，可以通过about:version页面查看修改效果  
　　–disable-plugins 禁止加载所有插件，可以增加速度。可以通过about:plugins页面查看效果  
　　–disable-javascript 禁用JavaScript，如果觉得速度慢在加上这个  
　　–disable-java 禁用java  
　　–start-maximized 启动就最大化  
　　–no-sandbox 取消沙盒模式  
　　–single-process 单进程运行  
　　–process-per-tab 每个标签使用单独进程  
　　–process-per-site 每个站点使用单独进程  
　　–in-process-plugins 插件不启用单独进程  
　　–disable-popup-blocking 禁用弹出拦截  
　　–disable-plugins 禁用插件  
　　–disable-images 禁用图像  
　　–incognito 启动进入隐身模式  
　　–enable-udd-profiles 启用账户切换菜单  
　　–proxy-pac-url 使用pac代理 \[via 1/2\]  
　　–lang=zh-CN 设置语言为简体中文  
　　–disk-cache-dir 自定义缓存目录  
　　–disk-cache-size 自定义缓存最大值（单位byte）  
　　–media-cache-size 自定义多媒体缓存最大值（单位byte）  
　　–bookmark-menu 在工具 栏增加一个书签按钮  
　　–enable-sync 启用书签同步  
　　–single-process 单进程运行Google Chrome  
　　–start-maximized 启动Google Chrome就最大化  
　　–disable-java 禁止Java  
　　–no-sandbox 非沙盒模式运行

## 　　 ##

### selenium抓取chromedriver的network ###

# -*- coding: utf-8 -*-
    from selenium import webdriver
    from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
    d = DesiredCapabilities.CHROME
    d['loggingPrefs'] = {
       'performance': 'ALL'}
    driver = webdriver.Chrome( desired_capabilities=d)
    driver.get("https://www.baidu.com")
    register = driver.find_element_by_partial_link_text("登录")
    register.click()
    for entry in driver.get_log('performance'):
        print(entry)

参考:[https://blog.csdn.net/Ambulong/article/details/52672384][https_blog.csdn.net_Ambulong_article_details_52672384]

--------------------

参考博文：[https://blog.csdn.net/zwq912318834/article/details/78933910][https_blog.csdn.net_zwq912318834_article_details_78933910]  
Selenium启动Chrome时配置选项 [https://blog.csdn.net/liaojianqiu0115/article/details/78353267][https_blog.csdn.net_liaojianqiu0115_article_details_78353267]  
Chrome命令行设置 [https://peter.sh/experiments/chromium-command-line-switches/][https_peter.sh_experiments_chromium-command-line-switches]  
selenium操作chrome时的一些配置 [https://blog.csdn.net/hellozhxy/article/details/80245296][https_blog.csdn.net_hellozhxy_article_details_80245296]

--------------------

### selenium设置phantomjs请求头 ###

#-------------------------------------------------------------------------------------
    #设置phantomjs请求头和代理方法一：
    from selenium import webdriver
    from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
    # 设置代理
    service_args = [
        '--proxy=%s' % ip_html,       # 代理 IP：prot（eg：192.168.0.28:808）
        '--proxy-type=http',          # 代理类型：http/https
        '--load-images=true',         # 关闭图片加载（可选）在linux下有bug，这样设置的话会导致内存不断增加，最后挂掉
        '--disk-cache=true',          # 开启缓存（可选）
        '--ignore-ssl-errors=true'    # 忽略https错误（可选）
    ]
    
    #设置请求头
    user_agent = (
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) " +
        "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.57 Safari/537.36"
        )
    dcap = dict(DesiredCapabilities.PHANTOMJS)
    dcap["phantomjs.page.settings.userAgent"] = user_agent
    driver = webdriver.PhantomJS(executable_path="phantomjs.exe",
                                 desired_capabilities=dcap,
                                 service_args=service_args)
    
    driver.get(url='http://www.baidu.com')
    
    
    
    
    #-------------------------------------------------------------------------------------
    #设置phantomjs请求头和代理方法二：
    from selenium import webdriver
    from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
    from selenium.webdriver.common.proxy import ProxyType
    desired_capabilities = DesiredCapabilities.PHANTOMJS.copy()
    # 从USER_AGENTS列表中随机选一个浏览器头，伪装浏览器
    user_agent = (
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) " +
        "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.57 Safari/537.36"
        )
    desired_capabilities["phantomjs.page.settings.userAgent"] = user_agent
    # 不载入图片，爬页面速度会快很多
    desired_capabilities["phantomjs.page.settings.loadImages"] = False
    
    # 利用DesiredCapabilities(代理设置)参数值，重新打开一个sessionId，
    # 相当于浏览器清空缓存后，加上代理重新访问一次url
    proxy = webdriver.Proxy()
    proxy.proxy_type = ProxyType.MANUAL
    proxy.http_proxy ='192.168.0.28:808'
    # 将代理设置添加到webdriver.DesiredCapabilities.PHANTOMJS中
    proxy.add_to_capabilities(desired_capabilities)
    # 打开带配置信息的phantomJS浏览器
    driver = webdriver.PhantomJS(executable_path='phantomjs.exe',
                                 desired_capabilities=desired_capabilities)
    driver.start_session(desired_capabilities)
    
    driver.get(url='http://www.baidu.com')
    
    # ==========================或者==========================
    from    selenium import  webdriver
    proxy=webdriver.Proxy()
    proxy.proxy_type=ProxyType.MANUAL
    proxy.http_proxy='192.168.0.28:808'
    # 将代理设置添加到webdriver.DesiredCapabilities.PHANTOMJS中
    proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)
    browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS)
    browser.get('http://www.baidu.com')
    
    #-------------------------------------------------------------------------------------
    # 还原为系统代理
    proxy=webdriver.Proxy()
    proxy.proxy_type=ProxyType.DIRECT
    proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)
    browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS)
    browser.get('http://1212.ip138.com/ic.asp')

--------------------

### 火狐相关设置 ###

# -*- coding: utf-8 -*-
    from selenium import webdriver
    options = webdriver.FirefoxOptions()
    #火狐无头模式
    options.add_argument('--headless')
    options.add_argument('--disable-gpu')
    # options.add_argument('window-size=1200x600')
    
    driver_path = webdriver.Firefox(executable_path='geckodriver.exe',
                                    firefox_options=options)

--------------------

##### 常用的浏览器请求头User-Agent #####

[https://blog.csdn.net/mouday/article/details/80182397][https_blog.csdn.net_mouday_article_details_80182397]

--------------------

博文参考:  
[https://blog.csdn.net/xc\_zhou/article/details/80823855][https_blog.csdn.net_xc_zhou_article_details_80823855]  
[https://www.zhihu.com/question/35547395][https_www.zhihu.com_question_35547395]  
[https://segmentfault.com/a/1190000013067705][https_segmentfault.com_a_1190000013067705]  
[https://www.cnblogs.com/lgh344902118/p/6339378.html][https_www.cnblogs.com_lgh344902118_p_6339378.html]

[https_seleniumhq.github.io_selenium_docs_api_py_api.html]: https://seleniumhq.github.io/selenium/docs/api/py/api.html
[https_blog.csdn.net_Ambulong_article_details_52672384]: https://blog.csdn.net/Ambulong/article/details/52672384
[https_blog.csdn.net_zwq912318834_article_details_78933910]: https://blog.csdn.net/zwq912318834/article/details/78933910
[https_blog.csdn.net_liaojianqiu0115_article_details_78353267]: https://blog.csdn.net/liaojianqiu0115/article/details/78353267
[https_peter.sh_experiments_chromium-command-line-switches]: https://peter.sh/experiments/chromium-command-line-switches/
[https_blog.csdn.net_hellozhxy_article_details_80245296]: https://blog.csdn.net/hellozhxy/article/details/80245296
[https_blog.csdn.net_mouday_article_details_80182397]: https://blog.csdn.net/mouday/article/details/80182397
[https_blog.csdn.net_xc_zhou_article_details_80823855]: https://blog.csdn.net/xc_zhou/article/details/80823855
[https_www.zhihu.com_question_35547395]: https://www.zhihu.com/question/35547395
[https_segmentfault.com_a_1190000013067705]: https://segmentfault.com/a/1190000013067705
[https_www.cnblogs.com_lgh344902118_p_6339378.html]: https://www.cnblogs.com/lgh344902118/p/6339378.html