python使用selenium爬取js加密的网页

r囧r小猫 2022-04-04 03:10 718阅读 0赞

# python使用selenium爬取js加密的网页 #

我们经常使用Python从网站上爬取我们喜欢的图片，比如从煎蛋网爬取妹子图。现在虽然煎蛋网取消了“OOXX”栏目，但是至少把名字换成了随手拍，我今天想从该网站爬取妹子图，去发现没有办法 从爬取的代码中找到 ‘.jpg’ 关键词，这就尴尬了，我用审查元素看了一下，是有的，但是又看了一下网页的源代码，没有找到，实际上我们使用Python 的下面两句代码爬取到了就是网页的源代码，而不一定是审查元素的全部内容。

response = urllib.request.urlopen(url)
    html = response.read()

这是为什么呢，以前没有出现这样的问题啊，以前我们发现审查元素和源代码是一样的啊。

其实，这是因为现在很多网站为了拒绝爬虫，居然对网页进行了加密，*操蛋*。

但是呢，我们也是有对策的，现在的网站基本上都是采用 js 加密，Python 也是有模块可以破解它的。

具体代码调用如下：

from selenium import webdriver
    chrome = webdriver.Chrome()
    chrome.get(url)
    html = chrome.page_source
    return html #返回的就是字符串

但是在用之前，还是有几个问题需要注意的：

## 1.安装谷歌浏览器 ##

是个人都会的操作吧，我就不说废话了。至于为什么要安装谷歌浏览器，自己看看代码里的 chrome ，应该就明白了吧。

## 2.安装 selenium ##

这是必须的操作步骤，very easy。

打开 CMD，输入下面的语句，Enter

pip install selenium

上面的语句当然是最简单了了，但是毕竟我们是中国人，速度慢，你懂得。国内也有镜像网站啊。

嘻嘻：（一般人我不告诉他）

pip install -i http://pypi.douban.com/simple --trusted-host pypi.douban.com selenium

## 3.chromedriver' executable needs to be in PATH ##

大部分的人在完成第一步之后，运行程序，都是会弹出“chromedriver' executable needs to be in PATH”的错误的。这是因为 这个模块使用的是谷歌浏览器。然后需要一个 chromedriver。

### **首先，第一步，根据你自己的Chrome（谷歌浏览器）版本，下载相应的 chromedriver。** ###

怎么查看谷歌浏览器的版本号呢？还是自行百度吧，太弱智的问题了。（实在不会的们可以看一下下面的第二步）

chromedriver 下载地址：

[http://chromedriver.storage.googleapis.com/index.html][http_chromedriver.storage.googleapis.com_index.html]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70][]

我的谷歌浏览器版本是 70.0.3538.67，就下载win32的版本（Windows只有这一个版本，我是64位的电脑，完全没问题。）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70 1][]

### **第二步，将chromedriver.exe复制到Chrome浏览器安装目录** ###

下载zip包之后，将其解压。发现里面仅有一个chromedriver.exe文件，该文件不需要通过向导模式安装在电脑上，而是仅需放到Chrome浏览器安装目录下面。可以通过360软件找到谷歌浏览器的安装位置：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70 2][]

如下图，我的Chrome浏览器安装在C:\\Users\\Xii\\AppData\\Local\\Google\\Chrome\\Application目录，将解压后的chromedriver.exe驱动文件复制到该目录下即可。（这里也是可以看到版本号的）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70 3][]

### **第三步：将Chromedriver.exe复制到python根目录！！** ###

如果是直接安装Python的朋友，就是在这个位置：如 C:\\Users\\Administrator\\AppData\\Local\\Programs\\Python\\Python36-32

我是使用Anaconda3 安装的Python，直接放在Anaconda3的根目录下就可以了（D:\\ProgramFiles\\Anaconda3）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70 4][]

### **第四步： 将浏览器环境变量添加到path** ###

打开开始菜单->我的电脑（或计算机）->系统属性->高级系统设置->环境变量，编辑用户变量里的path，

把谷歌浏览器的安装位置加进去：

添加 ：C:\\Users\\Xi\\AppData\\Local\\Google\\Chrome\\Application  
  
修改完之后点击确定按钮保存配置。

## 4、测试 ##

重启Python，再次运行发现未报错

[http_chromedriver.storage.googleapis.com_index.html]: http://chromedriver.storage.googleapis.com/index.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70]: /images/20220404/40f1cea239e74ed8af50fc1882eaed8e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70 1]: /images/20220404/fdc242683b17401bbc40442fc1b07bc0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70 2]: /images/20220404/6604a6846a3a481fa3c7a37f2bb5c1b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70 3]: /images/20220404/7d6d5cfab6c44bff997c3f75021b7f5b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70 4]: /images/20220404/1bd5798923ec4b879910ed32dcad012f.png