【测试】Selenium的使用（常用属性方法、元素等待、操作cookie、操作元素、无头模式）

小咪咪 2022-12-18 00:56 179阅读 0赞

#### 1.Selenium ####

Selenium是一个用于Web应用程序测试的工具，可以使用代码控制浏览器，所以一般可以用于测试、爬虫等方向

*  免费开源
 *  跨平台，支持Linux、Win、Mac等
 *  支持多种浏览器，Chrome、Firefox、Edge等
 *  支持python、Java、C\#、js等多种语言

#### 2.WebDriver ####

Selenium不能直接控制浏览器，得经过webdriver才能与预览器交互，即webdriver是两者之间的桥梁。所以我们需要先下载webdriver

**Chrom浏览器（chromedriver.exe）：**  
http://chromedriver.storage.googleapis.com/index.html

**Firefox浏览器（geckodriver.exe）：**  
https://github.com/mozilla/geckodriver/tags

**Edge浏览器：**  
https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

**Safari浏览器：**  
https://webkit.org/blog/6900/webdriver-support-in-safari-10/

因为Chrome浏览器太占资源了，所以我这里下载的是Firefox的驱动

下载的时候要注意版本适配，比如说旧的Driver可能无法控制新版的浏览器，如果不确定，那就把浏览器和Drive都更新到最新版本

下载完之后，为了不用每次都指定Driver的路径，我们**可以把Drive添加到环境变量中**，可以新建一个环境变量，嫌麻烦的话，直接把Driver复制到python的根目录

#### 3.简单使用 ####

当然，我们使用的语言是Python，所以应该先安装Selenium（Python版本应该在3.5或以上）

pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple

简单使用，执行下面的代码如果能控制浏览器，说明环境配置没问题

#### 4.元素定位 ####

元素定位主要是xpath和css两种方式，关于元素定位，可以参考之前的文章  
[【爬虫】元素定位（xpath、css）][xpath_css]

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>driver.find_element_by_id()</td> 
   <td>通过id属性定位</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_name()</td> 
   <td>通过name属性定位</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_class_name()</td> 
   <td>通过class属性定位</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_tag_name()</td> 
   <td>通过标签名定位</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_link_text()</td> 
   <td>通过a标签文本定位(全匹配)</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_partial_link_text()</td> 
   <td>通过a标签文本定位(半匹配)</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_xpath()</td> 
   <td>通过xpath定位</td> 
  </tr> 
  <tr> 
   <td>driver.find_element_by_css_selector()</td> 
   <td>通过css定位</td> 
  </tr> 
 </tbody> 
</table>

**说明：** 以上的方法都是单元素定位，若定位不到则抛异常。如果多元素定位，就是把element变成elements，若匹配不到则返回空列表

#### 5.Selenium的使用 ####

##### 5.1 常用属性和方法 #####

<table> 
 <thead> 
  <tr> 
   <th>属性</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>driver.name</td> 
   <td>当前浏览器名</td> 
  </tr> 
  <tr> 
   <td>driver.title</td> 
   <td>当前网页标题</td> 
  </tr> 
  <tr> 
   <td>driver.current_url</td> 
   <td>当前网页的url</td> 
  </tr> 
  <tr> 
   <td>driver.page_source</td> 
   <td>当前网页源码</td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>driver.get()</td> 
   <td>打开某个url</td> 
  </tr> 
  <tr> 
   <td>driver.close()</td> 
   <td>关掉当前窗口</td> 
  </tr> 
  <tr> 
   <td>driver.quit()</td> 
   <td>关掉浏览器</td> 
  </tr> 
  <tr> 
   <td>driver.back()<br>driver.forward()</td> 
   <td>历史向前、历史后退</td> 
  </tr> 
  <tr> 
   <td>driver.refresh()</td> 
   <td>刷新页面</td> 
  </tr> 
  <tr> 
   <td>driver.maximize_window()<br>driver.minimize_window()</td> 
   <td>浏览器最大化、最小化</td> 
  </tr> 
  <tr> 
   <td>driver.fullscreen_window()</td> 
   <td>浏览器全屏</td> 
  </tr> 
  <tr> 
   <td>driver.implicitly_wait()</td> 
   <td>隐式等待</td> 
  </tr> 
  <tr> 
   <td>driver.get_screenshot_as_file()</td> 
   <td>截图保存</td> 
  </tr> 
  <tr> 
   <td>driver.execute_script()</td> 
   <td>执行js代码</td> 
  </tr> 
 </tbody> 
</table>

from selenium.webdriver import Firefox
    import time
    
    # driver = Firefox(executable_path=r"D:\kaifa\Python\Python36\geckodriver.exe") # 指定driver所在路径
    driver = Firefox()  # 因为已经添加到环境变量，所以无需指定路径
    driver.get("https://www.baidu.com")  # 打开百度
    
    time.sleep(2)
    
    print(driver.name)  # 打印输出：firefox
    print(driver.title)  # 打印输出：百度一下，你就知道
    
    driver.maximize_window() # 最大化窗口
    driver.get_screenshot_as_file("baidu.png")  # 截图保存
    
    driver.quit()  # 退出浏览器

##### 5.2 元素等待 #####

如果存在网络不畅、资源受限等因素导致页面不能及时更新，代码可能不能按照预期的步骤执行（比如说定位不到某些元素），可以设置等待

等待又分为显式等待和隐式等待

显式等待

import traceback
    from selenium.webdriver import Firefox
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.wait import WebDriverWait
    
    driver = Firefox()  # 因为已经添加到环境变量，所以无需指定路径
    driver.get("https://www.baidu.com")
    
    def find_w_element(by=By.ID, value=None, _t=10):
        wait_driver = WebDriverWait(driver, _t)
        el = wait_driver.until(lambda temp: temp.find_element(by, value))
        return el
    
    def find_w_element_by_xpath(xpath, _t=10):
        wait_driver = WebDriverWait(driver, _t)
        el = wait_driver.until(lambda temp: temp.find_element_by_xpath(xpath))
        return el
    
    try:
        el = find_w_element(By.ID, "username")  # 没有此id为username的元素，等待不到会报错
        print(el)
    except Exception as e:
        print(traceback.format_exc())
    finally:
        driver.quit()

隐式等待

import traceback
    from selenium.webdriver import Firefox
    
    driver = Firefox()
    driver.implicitly_wait(10)  # 隐式等待时间
    driver.get("https://www.baidu.com")
    try:
        driver.find_element_by_id("username")
    except Exception as e:
        print(e)
        print(traceback.format_exc())
    finally:
        driver.quit()

隐式等待虽然设置简单，但是它会等待所有元素加载完成，所以效率没有显式等待高，显式等待的优缺点与之相反

或者，简单粗暴点，直接使用time.sleep()强制等待

##### 5.3 操作cookie #####

driver.get_cookies() # 获取所有的cookie
    driver.get_cookie(name) # 获取指定的 cookie
    driver.delete_cookie(name) # 删除指定的 cookie
    driver.delete_all_cookies() # 删除所有的 cookie
    driver.add_cookie(cookie_dict) # 添加一个 cookie

from selenium.webdriver import Firefox
    
    driver = Firefox()  # 因为已经添加到环境变量，所以无需指定路径
    driver.get("https://www.baidu.com")
    
    for c in driver.get_cookies():
        print(f'{ c["name"]}==>{ c["value"]}')
    
    print("=" * 50)
    driver.add_cookie({ "name": "k1", "value": "v1"})
    print(driver.get_cookie("k1"))
    
    print("=" * 50)
    driver.delete_cookie("k1")
    driver.delete_all_cookies()
    print(driver.get_cookies())
    
    driver.quit()

保存并读取cookie

# 保存cookie
    cookies = driver.get_cookies()
    with open("my_cookies.txt", "w", encoding="utf-8") as f:
        f.write(json.dumps(cookies))
        
    # 读取cookie
    with open("my_cookies.txt", "r", encoding="utf-8") as f:
        cookies = json.loads(f.read())
        for cookie in cookies:
            driver.add_cookie(cookie)

##### 5.4 元素操作 #####

<table> 
 <thead> 
  <tr> 
   <th>操作</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>el.click()</td> 
   <td>单击</td> 
  </tr> 
  <tr> 
   <td>el.send_keys()</td> 
   <td>往输入框输入文本</td> 
  </tr> 
  <tr> 
   <td>el.clear()</td> 
   <td>清空输入框</td> 
  </tr> 
  <tr> 
   <td>el.get_attribute()</td> 
   <td>获取标签属性</td> 
  </tr> 
 </tbody> 
</table>

常用操作（输入、清空、单击）

import time
    from selenium.webdriver import Firefox, ActionChains
    
    driver = Firefox()  # 因为已经添加到环境变量，所以无需指定路径
    driver.get("https://www.baidu.com")
    
    input_el = driver.find_element_by_id("kw")  # 找到输入框
    input_el.send_keys("python")  # 输入文本
    input_el.clear()  # 清空内容
    input_el.send_keys("仙剑奇侠传")
    
    btn_el = driver.find_element_by_id("su")  # 找到搜索按钮
    btn_el.click()  # 单击按钮
    
    time.sleep(3)
    driver.quit()

行为链

import time
    from selenium.webdriver import Firefox, ActionChains
    from selenium.webdriver.common.keys import Keys
    
    driver = Firefox()  # 因为已经添加到环境变量，所以无需指定路径
    driver.get("https://www.baidu.com")
    
    input_el = driver.find_element_by_id("kw")  # 找到输入框
    
    # 行为链：移动到输入框->单击->按下shift键->按下a键->松开shift键->松开a键
    actions = ActionChains(driver)
    actions.move_to_element(input_el).click().key_down(Keys.SHIFT).key_down('a').key_up(Keys.SHIFT).key_up('a')
    actions.perform()
    
    time.sleep(3)
    driver.quit()

常用行为

<table> 
 <thead> 
  <tr> 
   <th>行为</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>reset_actions()</td> 
   <td>清空行为链</td> 
  </tr> 
  <tr> 
   <td>click()</td> 
   <td>鼠标单击</td> 
  </tr> 
  <tr> 
   <td>click_and_hold()</td> 
   <td>按下鼠标左键不放</td> 
  </tr> 
  <tr> 
   <td>release()</td> 
   <td>松开鼠标</td> 
  </tr> 
  <tr> 
   <td>context_click()</td> 
   <td>鼠标右键</td> 
  </tr> 
  <tr> 
   <td>double_click()</td> 
   <td>鼠标双击</td> 
  </tr> 
  <tr> 
   <td>send_keys()</td> 
   <td>发送多个键，即输入字符串</td> 
  </tr> 
  <tr> 
   <td>key_down()</td> 
   <td>按下某个键</td> 
  </tr> 
  <tr> 
   <td>key_up()</td> 
   <td>松开某个键</td> 
  </tr> 
  <tr> 
   <td>drag_and_drop()</td> 
   <td>拖动一个元素到另一个元素</td> 
  </tr> 
  <tr> 
   <td>drag_and_drop_by_offset()</td> 
   <td>拖动一个元素到指定坐标</td> 
  </tr> 
 </tbody> 
</table>

##### 5.5 切换窗口 #####

有时候在页面中点击了超链接会打开一个新的页面窗口，这个时候我们可以自由在窗口之间进行切换

import time
    from selenium.webdriver import Firefox
    
    driver = Firefox()  # 因为已经添加到环境变量，所以无需指定路径
    driver.get('http://www.baidu.com')
    
    driver.find_element_by_link_text('学术').click()
    time.sleep(2)
    
    print(driver.window_handles)  # 所有句柄
    print(driver.current_window_handle)  # 当前句柄
    
    driver.switch_to.window(driver.window_handles[0])
    print(driver.current_window_handle)
    time.sleep(2)
    
    driver.switch_to.window(driver.window_handles[1])
    print(driver.current_window_handle)
    time.sleep(2)
    
    driver.quit()

##### 5.6 切换iframe #####

如果在页面中遇到frame标签，想要获取frame里面的元素，应该先切换到该frame

import time
    from selenium.webdriver import Firefox
    
    driver = Firefox()  # 因为已经添加到环境变量，所以无需指定路径
    driver.get("https://www.w3school.com.cn/tiy/t.asp?f=html_elements_select")
    
    frame = driver.find_element_by_id('iframeResult')
    driver.switch_to.frame(frame)
    select = driver.find_element_by_tag_name('select')
    print(select.get_attribute('innerHTML'))
    
    time.sleep(2)
    driver.quit()

##### 5.7 切换警告框 #####

import time
    
    from selenium.webdriver import Firefox
    
    driver = Firefox()  # 因为已经添加到环境变量，所以无需指定路径
    driver.get('http://www.baidu.com')
    
    driver.execute_script("alert('hello')")  # 打开警告框
    time.sleep(2)
    alert = driver.switch_to.alert  # 切换到警告框
    alert.dismiss()  # 取消警告框， alert.accept()效果一样
    
    driver.quit()

##### 5.8 无头模式 #####

from selenium.webdriver import Firefox
    from selenium.webdriver.firefox.options import Options
    
    options = Options()
    options.add_argument("--headless")  # 设置无头模式
    
    driver = Firefox(firefox_options=options)  # 因为已经添加到环境变量，所以无需指定路径
    
    driver.get('http://www.baidu.com')
    
    driver.get_screenshot_as_file("test.png")
    print("截图完毕")
    
    driver.quit()

以上使用的Firefox的Options()设置，Chrome或其他浏览器的设置类似，只是导包不一样

[xpath_css]: https://blog.csdn.net/qq_39147299/article/details/109263051