ChromeDriver PageLoadStrategy 使用配置

落日映苍穹つ 2021-10-20 01:22 461阅读 0赞

问题引出：

目标网站应用数据分析工具【百度、数据联盟】等外部分析网站，加载页面起来懂不懂几十秒。而ChromeDriver默认是必须等所有的资源加载完，才进我们的页面分析处理过程中来。这一切非常恼火

技术点：selenium ChromeDriver PageLoadStrategy  Chrome

其中PageLoadStrategy有三种选择：

(1) NONE: 当html下载完成之后，不等待解析完成，selenium会直接返回

(2) EAGER: 要等待整个dom树加载完成，即DOMContentLoaded这个事件完成，仅对html的内容进行下载解析

(3) NORMAL: 即正常情况下，selenium会等待整个界面加载完成（指对html和子资源的下载与解析,如JS文件，图片等，不包括ajax）

### 1、解决办法遇败 ###

网上充斥着：PageLoadStrategy  = eager 能解决问题，嗯是的，不过Chrome不支持这个属性，只支持none

//老方法 适用于老版本Selenium
    DesiredCapabilities caps = DesiredCapabilities.chrome();
    caps.setCapability("pageLoadStrategy", "eager");

两种实现方式都试一把，结果就是，不管怎么样 Chrome就是用了这个eager属性，一执行就报：

org.openqa.selenium.WebDriverException: unknown error: cannot parse capability: pageLoadStrategy

#新方法 适用于新版本Selenium
    ChromeOptions options = new ChromeOptions();
    opt.setPageLoadStrategy( PageLoadStrategy.EAGER );

### 2、柳暗花明-终极解决办法 ###

DesiredCapabilities caps = DesiredCapabilities.chrome();
    caps.setCapability("pageLoadStrategy", "none");
    WebDriver mDriver = new ChromeDriver( caps );
    
    
    driver.navigate().to("https://www.douban.com/");
    //因为前文设置了 pageLoadStrategy=none 
    //html获取到后就直接开始分析页面信息--可能domcument还未加载完成
    //所以需要等待某元素加载才开始，超时时间为10S
    WebDriverWait wait=new WebDriverWait(driver,10);
    wait.until(ExpectedConditions.presenceOfElementLocated( By.xpath("/html") ));
    
    //上面这一段代码就解决了URL一直加载的问题
    
    
    //我使用的Webmagic java实现
    WebElement webElement = webDriver.findElement(By.xpath("/html"));
    if( webElement != null ){
    	logger.info( "获取整个页面信息失败，但是业务流程不受影响........" );
    	String content = webElement.getAttribute("outerHTML");
    	page.setRawText(content);
    	page.setHtml(new Html(content, request.getUrl()));
    	page.setUrl(new PlainText(request.getUrl()));
    	page.setRequest(request);
    	webDriverPool.returnToPool(webDriver);			    
    }

3、参考信息

[Selenium 的页面加载以及几种等待的问题][Selenium]

[Page load strategy for Chrome driver][]

[Does chrome chrome driver support PageLoadStrategy='eager' for Selenium?][Does chrome chrome driver support PageLoadStrategy_eager_ for Selenium]

[Selenium2(WebDriver)总结(一)---启动浏览器、设置profile&加载插件][Selenium2_WebDriver_---_profile]

[Selenium 的页面加载以及几种等待的问题][Selenium 1]

[Chrome驱动程序的页面加载策略（更新至Selenium v3.12.0）][Chrome_Selenium v_3.12.0]

[Page load strategy for Chrome driver (Updated till Selenium v3.12.0)][Page load strategy for Chrome driver _Updated till Selenium v3.12.0]

[selenium-chrome-driver][]

[guava][]

部分资料可能需要翻-墙出去才能.

[Selenium]: https://www.cnblogs.com/qianjin100/p/9910699.html
[Page load strategy for Chrome driver]: https://www.e-learn.cn/content/wangluowenzhang/78584
[Does chrome chrome driver support PageLoadStrategy_eager_ for Selenium]: https://stackoverflow.com/questions/47877899/does-chrome-chrome-driver-support-pageloadstrategy-eager-for-selenium
[Selenium2_WebDriver_---_profile]: https://www.cnblogs.com/puresoul/p/4251536.html
[Selenium 1]: https://www.cnblogs.com/mabingxue/p/11057366.html
[Chrome_Selenium v_3.12.0]: https://xbuba.com/questions/43734797
[Page load strategy for Chrome driver _Updated till Selenium v3.12.0]: https://stackoverflow.com/questions/43734797/page-load-strategy-for-chrome-driver-updated-till-selenium-v3-12-0
[selenium-chrome-driver]: https://mvnrepository.com/artifact/com.google.guava/guava/23.0
[guava]: https://mvnrepository.com/artifact/com.google.guava/guava