ajax 通过页面地址获取页面中的元素_爬虫（三）——爬取动态页面

男娘i 2023-01-01 14:54 179阅读 0赞

# **Ajax——实现动态页面** #

Ajax不是一门编程语言，而是利用JavaScript在保证页面连接不改变的情况下与服务器交换数据并更新部分网页的技术。在这个过程中，页面实际上是在后台与服务器进行了数据交互，获取到数据后，通过JavaScript更新网页内容。除了一些比较老的或者轻量级的网站外，目前大多数网站都是动态页面，动态页面能关联更多的数据，因此也是爬虫主要面对的网页形式。

# **Network——定位请求和数据** #

Ajax有其特殊的请求类型，叫做XHR，查找XHR中的请求需要用到开发者工具栏中的Network。

![f4c03d22a9d0e0a7ef00ead1277f6b72.png][]

第0行的左侧，红色的圆钮是启用Network监控(默认高亮打开)，灰色圆圈是清空面板上的信息。右侧勾选框Preserve log，它的作用是“保留请求日志”。如果不点击这个，当发生页面跳转的时候，记录就会被清空。所以爬取一些会发生跳转的网页时，需将它点亮。

第1行，是对请求进行分类查看。最常用的是：ALL(查看全部)/XHR(仅查看XHR)/Doc(Document，第0个请求一般在这里)，Img(仅查看图片)/Media(仅查看媒体文件)/Other(其他)。JS和CSS是前端代码，负责发起请求和页面实现；Font是文字的字体。

第2行和第1行中间的是一个时间轴。记录什么时间，有哪些请求。而第2行，就是各个请求。

![df14cb91f1e25ac3ad5fab1065de80b6.png][]

第3行是统计有多少个请求，一共多大，花了多长时间。

Network能够记录浏览器所有的实时网络请求，它们组成Elements中的所有内容。清空面板中信息后，点开红色圆纽，通过“下拉”或点击“加载更多”、“下一页”等，对应的请求就会被记录下来，可以在这些请求里面通过名称查找所需数据具体对应的请求。

![29dab9e0e97024fbcbe8961d6ce717c0.png][]

点击XHR中的请求后，从左往右分别是：Headers：标头(请求信息)、Preview：预览、Response：响应、Cookies：Cookies、Timing：时间。

![0adf0f785b0de3c394feafeea3fdec8e.png][]

Headers分为四个板块，General里的Requests URL就是所需数据的真实网址。

![4465394c5b2798f80ad8e0daea7cc4a2.png][]

如果在直接浏览器中打开这个链接，因为响应没有得到解析，呈现的规律性比较差，定位到具体的数据位置比较困难。

![9435acf1e7bf925ffd4a5713120fe2a9.png][]

# **Json——解析数据** #

json是XHR传输数据的一种数据格式，和Python中的字典非常相像。XHR返回的数据是json格式的，浏览器开发者工具自动做了解析呈现在Preview中，层层展开“键”和“值”，很容易定位到具体的数据位置。json属于文本格式，并不是所有的编程语言都能读懂Python里的数据类型，但都支撑json这种朴素的数据类型。因此json数据才能实现，跨平台，跨语言工作。使用json()方法可将json数据格式转化为列表/字典。

![0adf0f785b0de3c394feafeea3fdec8e.png][]

![b78a73a5da39ae76c583f78aeeb72592.png][]

# **实操——QQ音乐周杰伦歌曲** #

# 引用requests库   import requests# 调用get方法，利用General里的Requests URL对应的真实地址爬取XHR的json数据res_music = requests.get('https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.song&searchid=60997426243444153&t=0&aggr=1&cr=1&catZhida=1&lossless=0&flag_qc=0&p=1&n=20&w=%E5%91%A8%E6%9D%B0%E4%BC%A6&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq.json&needNewCode=0')# 使用json()方法，将response对象，转为列表/字典json_music = res_music.json()# 一层一层地取字典，获取歌单列表list_music = json_music['data']['song']['list']# list_music是一个列表，music是它里面的元素for music in list_music:    # 以name为键，查找歌曲名    print(music['name'])    # 查找专辑名    print('所属专辑：'+music['album']['name'])    # 查找播放时长    print('播放时长：'+str(music['interval'])+'秒')    # 查找播放链接    print('播放链接：https://y.qq.com/n/yqq/song/'+music['mid']+'.html\n\n')

[f4c03d22a9d0e0a7ef00ead1277f6b72.png]: /images/20221120/a700a7489e594400a487606e5080c53b.png
[df14cb91f1e25ac3ad5fab1065de80b6.png]: /images/20221120/c18759bae12a406ab9e0601776151bc8.png
[29dab9e0e97024fbcbe8961d6ce717c0.png]: /images/20221120/a3a4712ac7d048d3a341fb96312b2754.png
[0adf0f785b0de3c394feafeea3fdec8e.png]: /images/20221120/12df5a802f73489fa96db66926b449d7.png
[4465394c5b2798f80ad8e0daea7cc4a2.png]: /images/20221120/9cdf91801f05444fa91fde0ff9bf0bba.png
[9435acf1e7bf925ffd4a5713120fe2a9.png]: /images/20221120/30493a0796ae4f118dfde99dc0304b7e.png
[b78a73a5da39ae76c583f78aeeb72592.png]: /images/20221120/55dcb33be6664352b2dc9701d7df4b5b.png