Selenium+PhantomJS使用时报错原因及解决方案

超、凢脫俗 2022-05-28 04:58 186阅读 0赞

### 问题 ###

今天在使用`selenium`\+`PhantomJS`动态抓取网页时，出现如下报错信息：

UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
      warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '

翻译过来就是：

selenium已经放弃PhantomJS，了，建议使用火狐或者谷歌无界面浏览器。

### 解决方案 ###

#### selenium版本降级 ####

通过`pip show selenium`显示，默认安装版本为`3.8.1`。  
将其卸载`pip uninstall selenium`，重新安装并指定版本号`pip install selenium==2.48.0`。  
再次运行，发现没有报错，搞定！

#### 使用无界面浏览器 ####

##### `Selenium+Headless Firefox` #####

`Selenium+Headless Firefox`和`Selenium+Firefox`，区别就是实例`option`的时候设置`-headless`参数。

前提条件：  
\- 本地安装Firefox浏览器  
\- 本地需要[geckodriver][]驱动器文件，如果不配置环境变量的话，需要手动指定`executable_path`参数。

示例代码：

from selenium.webdriver import Firefox
    from selenium.webdriver.firefox.options import Options
    
    
    def main():
        options = Options()
        options.add_argument('-headless')
        driver = Firefox(executable_path='./geckodriver', firefox_options=options)
        driver.get("https://www.qiushibaike.com/8hr/page/1/")
        print(driver.page_source)
        driver.close()
    
    
    if __name__ == '__main__':
        main()

##### `Selenium+Headless Chrome` #####

与`Firefox`类似，双手奉上。

前提条件：  
\- 本地安装Chrome浏览器  
\- 本地需要[chromedriver][]驱动器文件，如果不配置环境变量的话，需要手动指定`executable_path`参数。

示例：

from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    
    
    def main():
        chrome_options = Options()
        chrome_options.add_argument('--headless')
        chrome_options.add_argument('--disable-gpu')
        driver = webdriver.Chrome(executable_path='./chromedriver', chrome_options=chrome_options)
        driver.get("https://www.baidu.com")
        print(driver.page_source)
        driver.close()
    
    
    if __name__ == '__main__':
        main()

如上，完美解决~

[geckodriver]: https://github.com/mozilla/geckodriver/releases/
[chromedriver]: https://sites.google.com/a/chromium.org/chromedriver/home