【邵奈一】Python爬虫专栏（二）之Selenium初体验

爱被打了一巴掌 2021-09-23 05:14 373阅读 0赞

### 教程目录 ###

*  0x00 教程内容
 *  0x01 Selenium讲解
 *   *   *   *   *  1. 概念
                 *  2. 优缺点
 *  0x02 安装Selenium
 *   *   *   *   *  1. Python安装Selenium
                 *  2. 检验是否安装成功
                 *  3. 安装浏览器驱动
 *  0x03 Selenium第一个例子
 *   *   *   *   *  1. 使用Selenium打开邵奈一的博客
 *  0xFF 总结

# 0x00 教程内容 #

1.  Selenium工具的介绍、安装及使用
2.  通过例子实现用代码打开特定的网页

教程背景：上个课程已经可以跑通了第一个爬虫项目，爬取到的数据可以写进文件里。这节课我们来学习一个模拟人自动操作浏览器的工具：Selenium，此工具可以帮助我们实现自动翻页、自动登录等功能，当然，工作上用得非常多的还有用来进行Web应用程序的测试，此处不扩展，只讲爬虫相关的内容。

# 0x01 Selenium讲解 #

##### 1. 概念 #####

a. Selenium是一套完整的web应用程序测试系统。  
b. Selenium完全由JavaScript编写，核心Selenium Core基于JsUnit，因此可以用于任何支持JavaScript的浏览器上。  
c. Selenium可以像真正的用户一样直接在浏览器上操作，相当于模拟人的行为，支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。

##### 2. 优缺点 #####

a. 优点

1.  Selenium可以直接在浏览器中运行，就像真实用户所做的一样操作，可以较好地应对反爬机制，这点非常关键。
2.  Selenium 支持多种浏览器：Selenium 测试可以在 Windows、Linux 和 Macintosh上的 Internet Explorer、Chrome和 Firefox 中运行，其他相类似的测试工具都不能支持这么多的平台。

b. 缺点

1.  Selenium 虽然简单易用，但是效率不高。

# 0x02 安装Selenium #

##### 1. Python安装Selenium #####

a. 直接在Pycharm或者打开CMD中执行（我直接在Pycharm中执行）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70]

##### 2. 检验是否安装成功 #####

a. 查看是否安装成功  
`pip show selenium`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 1]

##### 3. 安装浏览器驱动 #####

a. 查看浏览器的版本号（推荐谷歌浏览器），打开谷歌浏览器，然后输入网址：`chrome://settings/help`，即可查看到自己的版本号：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 2]  
b. 进入Chrome驱动下载的地址：`ttp://chromedriver.storage.googleapis.com/index.html`，下载你的谷歌浏览器版本相近的驱动。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 3]  
c. 下载驱动（以Windows为例）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 4]  
d. 解压，并将驱动放于特定路径下（我的路径为：`C:\Users\shaonaiyi\AppData\Local\Google\Chrome\Application`），此路径可以直接右键谷歌浏览器图标，然后选择`属性`找到。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 5]  
如图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 6]  
e. 驱动的路径（也就是谷歌图标的`起始位置`）加到环境变量  
右击：`我的电脑`（或`计算机`）-> `系统属性` \-> `高级系统设置`\->`环境变量`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 7]  
配到变量path里，在最后面添加或者在最前面添加都行，记得要用分号隔开不同的变量，修改完之后点击确定按钮保存配置即可。

# 0x03 Selenium第一个例子 #

##### 1. 使用Selenium打开邵奈一的博客 #####

a. 新建个python文件，注意！！！文件的名称不要保存为selenium.py，否则会出现报错  
添加以下代码，然后执行：

from selenium import webdriver
    print("————————————————————————————导入selenium成功————————————————————————————")
    
    browser = webdriver.Chrome()
    print("————————————————————————————打开浏览器成功————————————————————————————")
    
    browser.get("https://blog.csdn.net/shaock2018")
    print("————————————————————————————执行结束————————————————————————————")

可能会报错以下错误，原因是找不到驱动，：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 8]  
解决方法一般有以下三种（第一种就可以解决了）

方法一：直接在代码中指定驱动的路径，如：

browser = webdriver.Chrome("C:\\Users\\shaonaiyi\\AppData\\Local\\Google\\Chrome\\Application\\chromedriver.exe")

方法二：查看环境变量是否配置正确，可以将要配置的环境变量放到最前面。  
方法三：还可能是环境变量配置的问题，可以重启电脑试试。

如果没有问题的话，会打开邵奈一的博客：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 9]

# 0xFF 总结 #

1.  本工具非常使用，当你学完此篇教程，相信你会成就感爆棚的，因为你接下来可以做很多的有趣的事情了。
2.  继续关注我，学习编程技术，如通过Selenium实现自动登录、自动翻页等等。

--------------------

**福利：**  
[邵奈一的技术博客导航][Link 6]  
[邵奈一][Link 1] 原创不易，如转载请标明出处。

--------------------

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70]: /images/20210923/748209c8076145c8abf2aa272b58d22d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 1]: /images/20210923/0bf144e00a4d4578ac14870407f6418c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 2]: /images/20210923/2255e2a896404186bd816db440ccb083.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 3]: /images/20210923/c19408b067ad4cd1b1cea260f27f8cb3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 4]: /images/20210923/e3855a61b83047f3bcced29dc89a0cb5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 5]: /images/20210923/fcfba63b733349d5aa9c7600c9a87282.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 6]: /images/20210923/48e69b29f0e14abf84cc67069c4fff70.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 7]: /images/20210923/69ef05b66bdb4702af7275ddddcf1dd0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 8]: /images/20210923/197bb3f012f9418f838ad50b12b60035.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 9]: /images/20210923/e0677003081248b0b61e11399d9a8454.png
[Link 1]: https://blog.csdn.net/shaock2018
[Link 2]: https://img-blog.csdnimg.cn/20190608000417972.jpeg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg=,size_16,color_FFFFFF,t_70
[Link 3]: https://img-blog.csdnimg.cn/20190514084602748.png
[Link 4]: https://weibo.com/5680168183/
[Link 5]: https://www.jianshu.com/u/6f033c6a3b90
[Link 6]: https://blog.csdn.net/shaock2018/article/details/89349249