Python3爬虫中关于Ajax分析方法的总结

朱雀 2022-12-27 09:08 152阅读 0赞

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/

友情链接：

[高州阳光论坛][Link 2]https://www.hnthzk.com/

[人人影视][Link 3]http://www.op-kg.com/

这里还以前面的微博为例，我们知道拖动刷新的内容由Ajax加载，而且页面的URL没有变化，那么应该到哪里去查看这些Ajax请求呢？

**1. 查看请求**

这里还需要借助浏览器的开发者工具，下面以Chrome浏览器为例来介绍。

首先，用Chrome浏览器打开微博的链接https://m.weibo.cn/u/2830678474，随后在页面中点击鼠标右键，从弹出的快捷菜单中选择“检查”选项，此时便会弹出开发者工具，如图6-2所示：

![8ede1554a18ea57eb8b3e0a9e1ea268.png][]

此时在Elements选项卡中便会观察到网页的源代码，右侧便是节点的样式。

不过这不是我们想要寻找的内容。切换到Network选项卡，随后重新刷新页面，可以发现这里出现了非常多的条目，如图6-3所示。

![7347cacb4cf036fd1e2539e6b37252a.png][8ede1554a18ea57eb8b3e0a9e1ea268.png]

前面也提到过，这里其实就是在页面加载过程中浏览器与服务器之间发送请求和接收响应的所有记录。

Ajax其实有其特殊的请求类型，它叫作xhr。在图6-3中，我们可以发现一个名称以getIndex开头的请求，其Type为xhr，这就是一个Ajax请求。用鼠标点击这个请求，可以查看这个请求的详细信息，如图6-4所示。

![6b76cca50287683be4a2270b47d9f25.png][8ede1554a18ea57eb8b3e0a9e1ea268.png]

在右侧可以观察到其Request Headers、URL和Response Headers等信息。其中Request Headers中有一个信息为X-Requested-With:XMLHttpRequest，这就标记了此请求是Ajax请求，如图6-5所示。

![ae9d01347dfabd89687948505e01de1.png][8ede1554a18ea57eb8b3e0a9e1ea268.png]

随后点击一下Preview，即可看到响应的内容，它是JSON格式的。这里Chrome为我们自动做了解析，点击箭头即可展开和收起相应内容，如图6-6所示。

![3ac72172652c9cf4262ba6362dfc3dd.png][8ede1554a18ea57eb8b3e0a9e1ea268.png]

观察可以发现，这里的返回结果是我的个人信息，如昵称、简介、头像等，这也是用来渲染个人主页所使用的数据。JavaScript接收到这些数据之后，再执行相应的渲染方法，整个页面就渲染出来了。

另外，也可以切换到Response选项卡，从中观察到真实的返回数据，如图6-7所示。

![48e0d6b7d27a5198f94a7479dcefe42.png][8ede1554a18ea57eb8b3e0a9e1ea268.png]

接下来，切回到第一个请求，观察一下它的Response是什么，如图6-8所示。

![841bc2e8347423785a041f30bba932b.png][8ede1554a18ea57eb8b3e0a9e1ea268.png]

这是最原始的链接https://m.weibo.cn/u/2830678474返回的结果，其代码只有不到50行，结构也非常简单，只是执行了一些JavaScript。

所以说，我们看到的微博页面的真实数据并不是最原始的页面返回的，而是后来执行JavaScript后再次向后台发送了Ajax请求，浏览器拿到数据后再进一步渲染出来的。

**2. 过滤请求**

接下来，再利用Chrome开发者工具的筛选功能筛选出所有的Ajax请求。在请求的上方有一层筛选栏，直接点击XHR，此时在下方显示的所有请求便都是Ajax请求了，如图6-9所示。

![7146e82314367f4e8e5dd3665ae9387.png][8ede1554a18ea57eb8b3e0a9e1ea268.png]

接下来，不断滑动页面，可以看到页面底部有一条条新的微博被刷出，而开发者工具下方也一个个地出现Ajax请求，这样我们就可以捕获到所有的Ajax请求了。

随意点开一个条目，都可以清楚地看到其Request URL、Request Headers、Response Headers、Response Body等内容，此时想要模拟请求和提取就非常简单了。

图6-10所示的内容便是我的某一页微博的列表信息。

![35287876f572b5d14186d70da5f3730.png][8ede1554a18ea57eb8b3e0a9e1ea268.png]

到现在为止，我们已经可以分析出来Ajax请求的一些详细信息了，接下来只需要用程序模拟这些Ajax请求，就可以轻松提取我们所需要的信息了。

在下一节中，我们用Python实现Ajax请求的模拟，从而实现数据的抓取。

以上就是Python3爬虫中关于Ajax分析方法的总结的详细内容，更多关于Python3爬虫里Ajax分析方法的资料请关注菜鸟教程www.piaodoo.com其它相关文章！

[Link 1]: https://www.piaodoo.com/
[Link 2]: https://www.hnthzk.com/
[Link 3]: http://www.op-kg.com/
[8ede1554a18ea57eb8b3e0a9e1ea268.png]:

发表评论取消回复

表情：

评论列表（有 0 条评论，152人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python3爬虫中Splash的知识总结

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/ 友情链接： [高州阳光论坛][Link 2]https://www.hnt

缺乏、安全感/ 2022年12月27日 09:08/ 0 赞/ 285 阅读

相关 Python3爬虫中Ajax的用法

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/ 友情链接： [高州阳光论坛][Link 2]https://www.hnt

比眉伴天荒/ 2022年12月27日 09:08/ 0 赞/ 225 阅读

相关 Python3爬虫中关于Ajax分析方法的总结

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/ 友情链接： [高州阳光论坛][Link 2]https://www.hnt

朱雀/ 2022年12月27日 09:08/ 0 赞/ 153 阅读

相关 python3的list方法总结

> 1.list.append(x) 把一个元素添加到列表表尾，相当于：a\[len(a):\] = \[x\] a=[1,2] a[len(a):] = [

不念不忘少年蓝@/ 2022年10月23日 12:53/ 0 赞/ 167 阅读

相关 Python3 爬虫神器总结

文章目录前言请求神器requests requests安装 requests简单示例

浅浅的花香味﹌/ 2022年09月04日 08:57/ 0 赞/ 212 阅读

相关 ajax爬虫专业,ajax爬虫

import requests url = 'https://m.weibo.cn/api/container/getIndex'; headers = \{ 'Host

深碍√TFBOYSˉ_/ 2022年09月03日 11:20/ 0 赞/ 309 阅读

相关 Python3 中代理使用方法总结

获取代理在做测试之前，我们需要先获取一个可用代理，搜索引擎搜索“代理”关键字，就可以看到有许多代理服务网站，在网站上会有很多免费代理，比如西刺：//www.xicida

迷南。/ 2022年05月31日 12:27/ 0 赞/ 827 阅读

相关 Python爬虫：一些常用的爬虫技巧总结

用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。爬

快来打我*/ 2022年04月22日 15:48/ 0 赞/ 265 阅读

相关 Python3.x中的爬虫小试

爬虫的代码很简单： import urllib.request def run_demo(): f=urllib.request.u

末蓝、/ 2021年11月23日 01:20/ 0 赞/ 233 阅读

相关关于Ajax使用的总结

最近敲手机微信版的订餐，对于Ajax的了解有了新的认识，现在和大家分享一下。一、Ajax的核心XMLHttpRequest

红太狼/ 2021年05月12日 11:54/ 0 赞/ 488 阅读