selenium 页面加载慢，超时的解决方案

我会带着你远行 2023-06-05 08:48 14阅读 0赞

开发环境：

win10-64 python2.7.16 chrome77

from selenium import webdriver
    
    driver = webdriver.Chrome(executable_path='chromedriver.exe')
    
    driver.get('http://全部加载完成超级慢的网站')
    
    
    user = 'abc'
    pwd = '123
    
    driver.find_element_by_id('email').send_keys(user)
    driver.find_element_by_id('pass').send_keys(pwd)

先看这样一段代码

当执行了get以后，除非网站全部加载完成，否则你只能乖乖等，什么都不能干，这是整个程序是阻塞的，get不完就别想进行下面操作

这个等待可能是5分钟或者更久

其实5秒钟的时候界面就已经打开了，然后他还在加载些什么js，img，等待速度超慢的，但是网页人工是可以操作

那么有没有什么办法呢，网上找了一通，给出了很多解决方案

首先是这货（下面是我复制的）：

from selenium import webdriver
    driver=webdriver.Chrome()
    driver.set_page_load_timeout(5)
    driver.set_script_timeout(5)#这两种设置都进行才有效

try:
        d.get(s)
    except:
        d.execute_script('window.stop()')#这句话好像没什么软用

可以在页面停止加载后继续操作了

driver.set_page_load_timeout(5)这玩意一设置，没问题，5秒后网页确实停止了，但是driver也死了，不管运行什么都是timeout，还说try一下，driver是死透了，只能重新来
    不知道是selenium更新了还是他自己没测试还是chrome更新了，现在这么设置就是找死的
    
    注意：使用set_page_load_timeout时候，当页面未加载出任何东西的时候（往往是html源码未加载），因为超时而停止，会导致driver失效，
    后面的driver都不能操作，所以超时设置应该至少保证页面内容加载出来一部分，设置超时不宜过短，如下图在页面此种状态下停止加载后driver失效。
    
    不错，是有人也说了，不能设置太短，会失效，但是我可以说，你设置5分钟照样失效，只要超时一次，driver就完蛋，直接翻车
    
    接下来是另一个方法

# coding = utf-8
    from selenium import webdriver
    from selenium.webdriver.support.wait import WebDriverWait
    import time
    
    driver = webdriver.Chrome()
    class button():
        def __call__(self, driver):
            if driver.find_element_by_id('js_love_url'):
                return True
            else:
                return False 
    
    driver.implicitly_wait(60)
    time_start = time.time()
    driver.get('https://www.163.com/')
    
    # driver.find_element_by_id('js_love_url').click()
    WebDriverWait(driver,2,0.5).until(button()) 
    time_end = time.time()
    print('access time is : ', time_end - time_start)
    time.sleep(2)
    driver.quit()

用WebDriverWait进行操作，不过我测试下来，driver.get()不执行完，下面的代码根本就不会执行，所以还是不行

找了各种方法，各种操作，都失败了，总算今天找到了正确的方法

原理非常简单：driver.get()这个操作，改成不阻塞的就行了，这样打开网页就操作完成了，不需要等他加载

下面我可以直接等待需要的元素出现即可进行操作

配置也是很简单

from selenium import webdriver
    from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
    
    
    #get直接返回，不再等待界面加载完成
    desired_capabilities = DesiredCapabilities.CHROME
    desired_capabilities["pageLoadStrategy"] = "none"
    
    driver = webdriver.Chrome(executable_path='chromedriver.exe')

配置一个参数，就是页面加载策略，系统默认是等待，就是等他加载完，直接设置成none，就是不等待，这样就是get操作完后直接就是结束了

不影响下面的操作，这样就可以愉快的玩耍了

转载于:https://www.cnblogs.com/darkspr/p/11533119.html