Chrome 浏览器的 ChromeOptions 参数介绍，selenium 动态渲染必看

水深无声 2024-04-06 14:12 62阅读 0赞

![f56416b6c1f742a9baafe55602005261.jpeg][]

## 背景 ##

在使用 [selenium][] 浏览器渲染技术，爬取网站信息时，默认情况下就是一个普通的纯净的chrome浏览器，而我们平时在使用浏览器时，经常就添加一些插件，扩展，代理之类的应用。相对应的，当我们用chrome浏览器爬取网站时，可能需要对这个chrome做一些特殊的配置，以满足爬虫的行为。

**常用的行为有：**

1.  禁止图片和视频的加载：提升网页加载速度。
2.  添加代理：用于翻墙访问某些页面，或者应对IP访问频率限制的反爬技术。
3.  使用移动头：访问移动端的站点，一般这种站点的反爬技术比较薄弱。
4.  添加扩展：像正常使用浏览器一样的功能。
5.  设置编码：应对中文站，防止乱码。
6.  阻止JavaScript执行。

--------------------

## 正文 ##

### 1. chromeOptions 介绍 ###

chromeOptions 是一个配置 chrome 启动是属性的类，通过这个类，我们可以为chrome配置如下参数（这个部分可以通过selenium源码看到）：

*  设置 chrome 二进制文件位置 (binary\_location)
 *  添加启动参数 (add\_argument)
 *  添加扩展应用 (add\_extension, add\_encoded\_extension)
 *  添加实验性质的设置参数 (add\_experimental\_option)
 *  设置调试器地址 (debugger\_address)

### 2. chromeOptions 源码 ###

class Options(object):
    
        def __init__(self):
            # 设置 chrome 二进制文件位置
            self._binary_location = ''
            # 添加启动参数
            self._arguments = []
            # 添加扩展应用
            self._extension_files = []
            self._extensions = []
            # 添加实验性质的设置参数
            self._experimental_options = {}
            # 设置调试器地址
            self._debugger_address = None

### 3. 使用案例 ###

try:
        # 创建谷歌浏览器驱动参数对象
        chrome_options = webdriver.ChromeOptions()
        # 不加载图片
        prefs = {"profile.managed_default_content_settings.images": 2}
        chrome_options.add_experimental_option("prefs", prefs)
        # 使用headless无界面浏览器模式
        chrome_options.add_argument('--headless')
        chrome_options.add_argument('--disable-gpu')
        # chrome_options.binary_location = r'...\chrome.exe'
    
        # 加载谷歌浏览器驱动
        driver = webdriver.Chrome(r'...\chromedriver.exe')
    
        # 请求地址
        driver.get('https://item.jd.com/100038004369.html')
        wait = WebDriverWait(driver,10)    # 等待10秒
        # 等待页面加载class名称为m-item-inner的节点，该节点中包含商品信息
        wait.until(EC.presence_of_element_located((By.CLASS_NAME,"w")))
    
        # 退出浏览器驱动
        driver.quit()
    
    except Exception as e:
        print(e)

### 4. 参数介绍 ###

<table style="width:700px;"> 
 <thead> 
  <tr> 
   <th style="text-align:left;vertical-align:middle;width:319px;">参数</th> 
   <th style="text-align:left;vertical-align:middle;width:378px;">含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('--disable-infobars')&nbsp;</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">禁止策略化</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('--no-sandbox')</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">解决DevToolsActivePort文件不存在的报错</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('window-size=1920x3000')</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">指定浏览器分辨率</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('--disable-gpu')</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">谷歌禁用GPU加速</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('--disable-javascript')</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">禁用javascript</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('--incognito')</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">隐身模式（无痕模式）</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('--start-maximized')</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">最大化运行（全屏窗口）,不设置，取元素会报错</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('--hide-scrollbars')</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">隐藏滚动条, 应对一些特殊页面</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('blink-settings=imagesEnabled=false')</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">不加载图片, 提升速度</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('--headless')</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">浏览器不提供可视化页面（无头模式）. linux下如果系统不支持可视化不加这条会启动失败</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('disable-infobars')</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">去掉Chrome提示受到自动软件控制</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('lang=en_US')</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">设置语言</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('User-Agent=xxxxxx')</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">设置User-Agent属性</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_argument('--kiosk-printing')&nbsp;</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">默认打印机进行打印</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.binary_location = r"...\chrome.exe"</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">手动指定使用的浏览器位置</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_experimental_option("debuggerAddress", "127.0.0.1:9222")&nbsp;</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">调用原来的浏览器，不用再次登录即可重启</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;"> <p>prefs = {"":""}</p> <p>prefs["credentials_enable_service"] = False</p> <p>prefs["profile.password_manager_enabled"] = False</p> <p>.add_experimental_option("prefs", prefs)&nbsp;</p> </td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">设置prefs属性，屏蔽'保存密码'提示框</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_experimental_option('excludeSwitches', ['enable-automation'])</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">以开发者模式启动调试chrome，可以去掉提示受到自动软件控制</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;vertical-align:middle;width:319px;">.add_experimental_option('useAutomationExtension', False)&nbsp;</td> 
   <td style="text-align:left;vertical-align:middle;width:378px;">去掉提示以开发者模式调用</td> 
  </tr> 
 </tbody> 
</table>

--------------------

[f56416b6c1f742a9baafe55602005261.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/973e13634e6a4cf1a834dfe003fbcd71.jpeg
[selenium]: https://so.csdn.net/so/search?q=selenium&spm=1001.2101.3001.7020