selenium的介绍，win10系统配置selenium，并用python爬取网页的案例

迈不过友情╰ 2023-06-25 03:24 87阅读 0赞

### 1. selenium的介绍 ###

Selenium 是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些 JavaScript 动态渲染的页面来说，此种抓取方式非常有效。

### 2. 准备工作 ###

1.  首先需要安装 Chrome浏览器，然后到 [https://chromedriver.storage.googleapis.com/index.html][https_chromedriver.storage.googleapis.com_index.html]下载对应版本的chromedriver（如果版本不一致，运行代码时chrome浏览会出现闪退），并把下载之后的`chromedriver.exe`放到python安装目录的Scripts目录中，截图如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aV95b25naHVh_size_16_color_FFFFFF_t_70]  
    然后在cmd窗口执行 `chromedriver` ，控制台有以下输出，说明chromedriver配置成功：![在这里插入图片描述][2019122514253488.png]
2.  还需要正确安装好 Python 的 Selenium 库。`pip install selenium` 安装即可，在代码中输入：
    
        from selenium import webdriver
        browser = webdriver.Chrome()
        print(browser)
        browser.close()
    
    并运行，在控制台有以下输出，则说明selenium安装成功：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aV95b25naHVh_size_16_color_FFFFFF_t_70 1]  
    或者，执行下面代码能打印出版本号，如下图：
    
        from selenium import webdriver
        
        print(webdriver.__version__)
    
    版本号如下图：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aV95b25naHVh_size_16_color_FFFFFF_t_70 2]

### 3. 基本使用 ###

##### 案例一，爬取：[http://baijiahao.baidu.com/s?id=1641352054744781817&wfr=spider&for=pc][http_baijiahao.baidu.com_s_id_1641352054744781817_wfr_spider_for_pc] #####

from selenium import webdriver
    
    
    def selenium_test(url):
        browser = webdriver.Chrome()
        browser.get(url)
        print(browser.current_url)
        print(browser.page_source)
    
    
    selenium_test('http://baijiahao.baidu.com/s?id=1641352054744781817&wfr=spider&for=pc')

执行结果如下：对应的html文件都会在控制台打印出来，剩下的就是从网页中提取有用信息了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aV95b25naHVh_size_16_color_FFFFFF_t_70 3]

##### 案例二，模拟百度搜索，搜索“苹果”：[https://www.baidu.com][https_www.baidu.com] #####

import time
    from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.common.keys import Keys
    from selenium.webdriver.support import expected_conditions as EC
    from selenium.webdriver.support.wait import WebDriverWait
    
    browser = webdriver.Chrome()
    try:
        browser.get('https://www.baidu.com')
        input = browser.find_element_by_id('kw')
        input.send_keys('苹果')
        input.send_keys(Keys.ENTER)
        wait = WebDriverWait(browser, 10)
        wait.until(EC.presence_of_element_located((By.ID, 'content_left')))
        print(browser.current_url)
        print(browser.get_cookies())
        print(browser.page_source)
    finally:
        time.sleep(5)
        browser.close()

运行代码后发现，会自动弹出一个 Chrome 浏览器。浏览器首先会跳转到百度，然后在搜索框中输入 Python，接着跳转到搜索结果页。等待5秒之后，浏览器关闭。

[https_chromedriver.storage.googleapis.com_index.html]: https://chromedriver.storage.googleapis.com/index.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aV95b25naHVh_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191225142240874.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aV95b25naHVh,size_16,color_FFFFFF,t_70
[2019122514253488.png]: https://img-blog.csdnimg.cn/2019122514253488.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aV95b25naHVh_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191225143535690.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aV95b25naHVh,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aV95b25naHVh_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191225145703996.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aV95b25naHVh,size_16,color_FFFFFF,t_70
[http_baijiahao.baidu.com_s_id_1641352054744781817_wfr_spider_for_pc]: http://baijiahao.baidu.com/s?id=1641352054744781817&wfr=spider&for=pc
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aV95b25naHVh_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191225150157409.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aV95b25naHVh,size_16,color_FFFFFF,t_70
[https_www.baidu.com]: https://www.baidu.com