用Selenium来爬取数据？真挺简单的！

朴灿烈づ我的快乐病毒、 2022-10-07 00:42 141阅读 0赞

`selenium` 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。

通过编写模仿用户操作的 Selenium 脚本，**可以从终端用户的角度驱动浏览器执行特定的动作**，这个特性对我们爬取由 JavaScript 动态渲染的页面是非常友好的。

因为由 JavaScript 动态渲染的页面，这种页面上的 JavaScript 通常经过了编译打包，看到的都是简码，非常难以阅读。

## 一、Selenium基础 ##

官方文档：https://selenium.dev/selenium/docs/api/py/api.html

![null][]

Selenium自动化测试工具：可以驱动浏览器执行特定的动作（例如：点击、下拉等）。`同时还可以获取浏览器当前呈现的页面的源代码`。

## 1.安装Selenium ##

pip install selenium

常用包导入：

from selenium import webdriver
    from selenium.webdriver import ActionChains
    from selenium.webdriver.common.by import By
    from selenium.webdriver.common.keys import Keys
    from selenium.webdriver.support import expected_conditions as EC
    from selenium.webdriver.support.wait import WebDriverWait
    import time

## 2.安装谷歌浏览器及ChromeDriver ##

ChromeDriver镜像网站：http://npm.taobao.org/mirrors/chromedriver/\[1\]

> ChromeDriver安装步骤：①下载chromedriver.exe（注意浏览器版本保持一致） ②将chromedriver.exe配置到系统环境变量`Path`（建议直接拷贝的python的安装目录Scripts目录下）

![null][null 1]

![78c9e43a310310b58a095b089c675332.png][]

先写一点简单的小功能演示一下（浏览器自动打开百度搜索"曾庆林"）：

from selenium import webdriver
    from selenium.webdriver.common.keys import Keys
    
    
    browser = webdriver.Chrome()
    # 获取谷歌浏览器
    browser.get('https://www.baidu.com')
    # 打开百度
    input = browser.find_element_by_id('kw')
    # 找到id为kw的搜索框
    input.send_keys('曾庆林')
    # 设置搜索文本
    input.send_keys(Keys.ENTER)
    # 发送回车键
    print(browser.current_url)
    # 获取浏览器的当前地址
    print(browser.get_cookies())
    # 获取浏览器页面cookie
    print(browser.page_source)
    # 获取浏览器页面源文件

代码执行结果![null][null 2]

## 3.创建浏览器对象 ##

from selenium import webdriver
    browser = webdriver.Chrome()

或者使用PhantomJS（基于Webkit的“无界面”(headless)浏览器）

browser = webdriver.PhantomJS()

## 4.加载网页 ##

browser.get(url)

## 二、浏览器操作 ##

## 1.加载网页 ##

browser.get(url)

## 2.执行js ##

browser.execute_script(js代码串)

## 3.截图 ##

browser.save_screenshot("文件名.png")

## 4.前进与后退 ##

# 页面后退
    browser.back()
    # 页面前进
    browser.forward()

## 5.标签页切换 ##

browser.switch_to.window(browser.window_handles[下标])

## 6.关闭 ##

# 关闭当前标签页或窗口
    browser.close()
    # 关闭所有标签页或窗口
    browser.quit()

## 三、节点选取 ##

## 1.单节点选取 ##

browser.find_element_by_id('kw')                # 原生语法
    browser.find_element_by_css_selector('#kw')     # CSS语法
    browser.find_element_by_xpath("//*[@id='kw']")  # XPath语法

以上三种方法获取的元素类型都是WebElement类型。以下两种方法等效：

browser.find_element_by_id('kw')
    browser.find_element(By.ID, 'kw')

## 2.多节点选取 ##

与单节点选取相似，将element改为elements即可。

browser.find_elements_by_id()
    browser.find_elements_by_name()
    browser.find_elements_by_tag_name()
    browser.find_elements_by_class_name()
    browser.find_elements_by_xpath()
    browser.find_elements_by_css_selector()
    browser.find_elements_by_link_text()
    browser.find_elements_by_partial_link_text()

## 3.页面源代码获取 ##

browser.page_source

## 四、提取节点数据 ##

<table> 
 <thead> 
  <tr> 
   <td>语法</td> 
   <td>数据</td> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>element.get_attribute(属性名)</td> 
   <td>获取节点属性值</td> 
  </tr> 
  <tr> 
   <td>element.text</td> 
   <td>获取节点文本内容</td> 
  </tr> 
  <tr> 
   <td>element.id</td> 
   <td>获取节点ID</td> 
  </tr> 
  <tr> 
   <td>element.location</td> 
   <td>获取节点位置</td> 
  </tr> 
  <tr> 
   <td>element.tag_name</td> 
   <td>获取节点标签</td> 
  </tr> 
  <tr> 
   <td>element.size</td> 
   <td>获取节点大小</td> 
  </tr> 
 </tbody> 
</table>

## 五、动作 ##

## 1.获取节点 ##

•直接方法

element = browser.find_element_by_XXX(value)

•使用By类型（需要导入By）

from selenium.webdriver.common.by import By
    element = browser.find_element(By.ID, value)

## 2.对节点元素的操作 ##

<table> 
 <thead> 
  <tr> 
   <td>动作</td> 
   <td>描述</td> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>element.click()</td> 
   <td>单击</td> 
  </tr> 
  <tr> 
   <td>element.submit()</td> 
   <td>提交</td> 
  </tr> 
  <tr> 
   <td>element.send_keys(data)</td> 
   <td>向可输入元素输入数据</td> 
  </tr> 
  <tr> 
   <td>element.clear()</td> 
   <td>清空可输入元素中的数据</td> 
  </tr> 
 </tbody> 
</table>

## 六、动作链 ##

用来模拟鼠标拖拽、鼠标按键等操作。

## 1.创建动作链对象 ##

from selenium.webdriver import ActionChains
    actions = ActionChains(browser)

## 2.动作 ##

### （1）鼠标操作 ###

<table> 
 <thead> 
  <tr> 
   <td>动作</td> 
   <td>描述</td> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>actions.click(on_element)</td> 
   <td>单击</td> 
  </tr> 
  <tr> 
   <td>actions.double_click(on_element)</td> 
   <td>双击</td> 
  </tr> 
  <tr> 
   <td>actions.context_click(on_element)</td> 
   <td>右键点击</td> 
  </tr> 
  <tr> 
   <td>actions.click_and_hold(on_element)</td> 
   <td>点击不放</td> 
  </tr> 
  <tr> 
   <td>actions.drag_and_drop(source, target)</td> 
   <td>拖放</td> 
  </tr> 
  <tr> 
   <td>actions.drag_and_drop_by_offset(source, target, xoffset, yoffset)</td> 
   <td>拖动至元素相对位置</td> 
  </tr> 
  <tr> 
   <td>actions.move_by_offset(xoffset, yoffset)</td> 
   <td>移动光标</td> 
  </tr> 
  <tr> 
   <td>actions.move_to_element(to_element)</td> 
   <td>移动光标至元素</td> 
  </tr> 
  <tr> 
   <td>actions.move_to_element_with_offset(to_element, xoffset, yoffset)</td> 
   <td>移动光标至元素相对位置</td> 
  </tr> 
 </tbody> 
</table>

### （2）键盘操作 ###

<table> 
 <thead> 
  <tr> 
   <td>动作</td> 
   <td>描述</td> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>actions.send_keys(data)</td> 
   <td>向当前焦点元素发送信息</td> 
  </tr> 
  <tr> 
   <td>actions.send_keys_to_element(element, data)</td> 
   <td>向元素发送信息</td> 
  </tr> 
  <tr> 
   <td>actions.key_down(value, element)</td> 
   <td>按下按键</td> 
  </tr> 
  <tr> 
   <td>actions.key_up(value, element)</td> 
   <td>释放按键</td> 
  </tr> 
 </tbody> 
</table>

## 3.执行动作链 ##

actions.perform()

## 七、延时等待 ##

## 1.固定等待（强制等待） ##

等待固定的时间，不管页面的加载情况。

time.sleep(秒数)

## 2.隐式等待 ##

页面加载完成或者超时执行下一步。

browser.implicitly_wait(time_to_wait)

## 3.显示等待 ##

条件成立才执行下一步，超时则会抛出TimeoutException异常。

from selenium.webdriver.support import expected_conditions as EC
    wait = WebDriverWait(browser, timeout)
    element = wait.until(EC.条件)

## 4.等待条件 ##

<table> 
 <thead> 
  <tr> 
   <td>等待的条件</td> 
   <td>含义</td> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>title_is</td> 
   <td>标题是某内容</td> 
  </tr> 
  <tr> 
   <td>title_contains</td> 
   <td>标题包含某内容</td> 
  </tr> 
  <tr> 
   <td>presence_of_element_located</td> 
   <td>节点加载出来，需要传入定位元组（例如：(By.ID, 'q')）</td> 
  </tr> 
  <tr> 
   <td>visibility_of_element_located</td> 
   <td>节点课件，传入定位元组</td> 
  </tr> 
  <tr> 
   <td>visibility_of</td> 
   <td>传入的节点对象可见</td> 
  </tr> 
  <tr> 
   <td>presence_of_all_elements_located</td> 
   <td>所有节点可见</td> 
  </tr> 
  <tr> 
   <td>text_to_be_present_in_element</td> 
   <td>某个节点包含某文字</td> 
  </tr> 
  <tr> 
   <td>element_to_be_clickable</td> 
   <td>节点可被点击</td> 
  </tr> 
  <tr> 
   <td>staleness_of</td> 
   <td>判断一个节点是否仍在DOM中，可以判断页面是否被刷新过</td> 
  </tr> 
  <tr> 
   <td>alert_is_present</td> 
   <td>判断警告框是否弹出</td> 
  </tr> 
 </tbody> 
</table>

## 八、cookie操作 ##

## 1.获取cookie ##

browser.get_cookies()

## 2.添加cookie ##

browser.add_cookie({"name": 名称, "value": 值})

## 3.删除cookie ##

browser.delete_cookie(name)
    browser.delete_all_cookies()

参考：https://www.jianshu.com/p/a36f92f74e75

IT入门 感谢关注 | 练习地址：www.520mg.com/it

《0基础python爬虫系列教程》

<table> 
 <tbody> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320125dc458833960e697aa9cf6efd4beda9850e74d05c284f0a9946d98fa93bb12a4324b3&amp;idx=2&amp;mid=2247485516&amp;scene=21&amp;sn=bb0633aa198a9ac55bfa74060155ee74#wechat_redirect" rel="nofollow">01为什么要学习爬虫</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320103dc45881592fa51bd62b7d7820b4b506c4a3933a9fad6833d49ce360294f2fe0c6402&amp;idx=2&amp;mid=2247485546&amp;scene=21&amp;sn=9467b8493b4a252d7c39799e58813575#wechat_redirect" rel="nofollow">02-认识python爬虫</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320103dc4588155293377a2843fc247e3c404f19eb523b875e988e64bc544d98c1b8d7854b&amp;idx=3&amp;mid=2247485546&amp;scene=21&amp;sn=e588e1f9b369323817acb125a7a2fa13#wechat_redirect" rel="nofollow">03-爬虫基本原理</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320065dc458973634e1f97683d26b920c3b23dd975286c595065c0e44c3f13a8c74274f7a2&amp;idx=2&amp;mid=2247485708&amp;scene=21&amp;sn=02145cd8d7f0ba50be1ad4f83e60c12b#wechat_redirect" rel="nofollow">04-爬虫利器Fiddler</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320065dc4589730f0f40ed783f45d1a71974a3037ede904e68fe967752f2def4daf04a8e16&amp;idx=3&amp;mid=2247485708&amp;scene=21&amp;sn=9fe3f40863c13431a80abb6a11bc8f1a#wechat_redirect" rel="nofollow">05-HTTP协议</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320047dc458951e91b4f5ac10d8580840e3fd8aa63ac8c217f8df2d9c643cbda75c22def9f&amp;idx=2&amp;mid=2247485742&amp;scene=21&amp;sn=6be1c823ade912410f109a7f42ffffd3#wechat_redirect" rel="nofollow">06-爬虫库urllib</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320047dc4589512a5d2062893b86474a037111067d05b57c04355b967c22b04ce3395ea96f&amp;idx=3&amp;mid=2247485742&amp;scene=21&amp;sn=7a54ccaa4836d2a7e5128f233e8c9e5d#wechat_redirect" rel="nofollow">07-TCP3</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32003bdc45892d17198bb56448b4600aabd63c84667dccd8fc032647300da843d0ea15be88&amp;idx=3&amp;mid=2247485778&amp;scene=21&amp;sn=f086472aa06577ab8c0567a927721994#wechat_redirect" rel="nofollow">08-页面解析之数据提取</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32003bdc45892dc9d2ae5b11e1ec1357a1d2884ad3d1de51775c02a3045c336068e2ba3b37&amp;idx=2&amp;mid=2247485778&amp;scene=21&amp;sn=adbe45fd796a285d8c54f38d2727c496#wechat_redirect" rel="nofollow">09-XPath 语言</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32000edc45891837fbcaa3dc21becf71e86dcd25f599e7d8f59158bf339ddaad9f4c75dd90&amp;idx=2&amp;mid=2247485799&amp;scene=21&amp;sn=6ed8d9212f4bfb4d710523dfb478e9c4#wechat_redirect" rel="nofollow">10-lxml库</a></td> 
  </tr> 
  <tr> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320010dc458906991372249d605f7ac28b1bf649ce55cf5ba1255b42d9b153b003d6c9ccfd&amp;idx=2&amp;mid=2247485817&amp;scene=21&amp;sn=fc3c41347968b123ed51d0c61508428c#wechat_redirect" rel="nofollow">11-Beautiful Soup</a><br></td> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb3200d6dc4589c005e613206c66915ef25f8740c3947a1cdac2a3f20135dad3b464c64cf5df&amp;idx=2&amp;mid=2247485887&amp;scene=21&amp;sn=9140a4874523e0e2aec3252577ab12a6#wechat_redirect" rel="nofollow">12-正则表达式</a><br></td> 
  </tr> 
  <tr> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320081dc45899750dfcf9a04789b5a16668d03245d868f182b24b5e8f3914151895e423d25&amp;idx=2&amp;mid=2247485928&amp;scene=21&amp;sn=79e235db280e4faad16141a22c06e37a#wechat_redirect" rel="nofollow">13-python爬虫JSON操作</a><br></td> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb3203bedc458aa8087e8db11b91a93ad354f971089bf1652e260a489b6c33fc39dc1178e401&amp;idx=2&amp;mid=2247486167&amp;scene=21&amp;sn=df18b573a89b0854f1c8b400a81fb61e#wechat_redirect" rel="nofollow">14-Python 读写 Excel</a><br></td> 
  </tr> 
  <tr> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb3203b3dc458aa530bd360b1e1753e719eb918e17abbc817e989be7afee9546edaf68fad65f&amp;idx=2&amp;mid=2247486170&amp;scene=21&amp;sn=46400af957698441417a38c089086cef#wechat_redirect" rel="nofollow">15-python爬取百度贴吧</a><br></td> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320262dc458b74b4240df36f4c0aa85002c830a31f5a73f3586b4c6a4eee5dece89f3bb95b&amp;idx=1&amp;mid=2247486219&amp;scene=21&amp;sn=4e67cdc8f3acb32d0c2a4d199612625f#wechat_redirect" rel="nofollow">16-python之Requests库</a><br></td> 
  </tr> 
  <tr> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320220dc458b36e583bda2e1f53cdb9a7d8b9cdf6669c95be374a9a69e9b5a243f984de300&amp;idx=1&amp;mid=2247486281&amp;scene=21&amp;sn=f61f2a6a6fba1ca4fe9de259d1a0f267#wechat_redirect" rel="nofollow">17-python找女神什么感觉！</a><br></td> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32023fdc458b29e1b699f453aedd634d07c8c1efba9e2d37193d189f30a35150d6942905e4&amp;idx=1&amp;mid=2247486294&amp;scene=21&amp;sn=a0c60a7fb6ba0686da80a969d7f09da8#wechat_redirect" rel="nofollow">18-pymysql操作mysql</a><br></td> 
  </tr> 
  <tr> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32021edc458b081e3efcfc4f8886305ca3e503b24b8a4367e5bd366b0a360d295b58632af3&amp;idx=2&amp;mid=2247486327&amp;scene=21&amp;sn=9dc56588ca6ec6a76a59c88e751bcd02#wechat_redirect" rel="nofollow">19-爬虫解析利器pyquery详解</a><br></td> 
   <td colspan="1"><br></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td align="center"><p><img src="https://img-blog.csdnimg.cn/img_convert/e530f5b74eb80bfa0c63a4505c6c6301.png"></p><p>IT入门&nbsp;感谢关注</p></td> 
   <td align="left"><p>一学就会&nbsp;Python入门教程 →</p><p>程序员用的单词表→</p><p>练习地址：www.520mg.com/it</p></td> 
  </tr> 
 </tbody> 
</table>

喜欢就奖励一个“????”和“**在看**”呗~

[null]: /images/20221005/87f418321eb648a9887796cd5ed0e50d.png
[null 1]: /images/20221005/b9c1283c9a0044dca1a56c5f47c4a80c.png
[78c9e43a310310b58a095b089c675332.png]: /images/20221005/45ac3ef5e8bc4a128caf56bd213a458a.png
[null 2]: /images/20221005/fa76843783e049589cb3fbc8f16ee27f.png