Python爬虫之GET和POST请求如何正确运用详解

绝地灬酷狼 2023-02-13 11:54 82阅读 0赞

**![format_png][]**

**爬虫——GET请求和POST请求**

urllib.parse.urlencode()和urllib.parse.unquote()

编码工作使用urllib.parse的urlencode()函数，帮我们将key:value这样的键值对转换成"key=value"这样的字符串，解码工作可以使用urllib的unquote()函数。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 </td> 
 <td> <code>#&nbsp;python3.5控制台中测试结果</code> <code>&gt;&gt;&gt;&nbsp;import&nbsp;urllib</code> <code>&gt;&gt;&gt;&nbsp;word&nbsp;=&nbsp;{ </code><code>"wd"</code><code>:</code><code>"爬虫"</code><code>}</code> <code>#&nbsp;通过urllib.parse.urlencode()方法，将字典键值对按URL编码转换，从而能被wed服务器接受。</code> <code>&gt;&gt;&gt;&nbsp;urllib.parse.urlencode(word)</code> <code>'wd=%E7%88%AC%E8%99%AB'</code> <code>#&nbsp;通过urllib.parse.unquote()方法，把URL编码字符串，转换回原先的字符串。</code> <code>&gt;&gt;&gt;&nbsp;urllib.parse.unquote(word)</code> <code>'wd=爬虫'</code><code>另外&lt;strong&gt;注意：&lt;/strong&gt;光理论是不够的。这里顺便送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！</code> </td> 
 </tr> 
 </tbody> 
</table>

一般HTTP请求提交数据，需要编码成URL编码格式，然后做为URL的一部分，或者作为参数传到Request对象中。

**GET方式**

GET请求一般用于我们向服务器获取数据，比如说，我们用百度搜索 爬虫：https://www.baidu.com/s?wd=爬虫（https://www.baidu.com/s?wd=%E7%88%AC%E8%99%AB）

我们可以看到在请求部分里，http://www.baidu.com/s? 之后出现一个长长的字符串，其中就包含我们要查询的关键词“爬虫”，于是我们可以尝试用默认的GET方式来发送请求。

**批量爬取贴吧页面数据**

首先我们创建一个python文件：tiebaSpider.py，我们要完成的功能是，输入一个百度贴吧的地址，比如：百度贴吧LOL吧

第一页：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0

第二页：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50

第三页：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100

……

爬取以上页面的内容

相关推荐：《Python相关教程》

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 </td> 
 <td> <code>#!/usr/bin/python3</code> <code>#&nbsp;-*-&nbsp;coding:utf-8&nbsp;-*-</code> <code>&nbsp;</code>&nbsp; <code>""</code><code>"</code> <code>功能：批量爬取贴吧页面数据</code> <code>目标地址：百度贴吧LOL吧</code> <code>分析：</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>第一页：https:</code><code>//tieba.baidu.com/f?kw=lol&amp;ie=utf-8&amp;pn=0</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>第二页：http:</code><code>//tieba.baidu.com/f?kw=lol&amp;ie=utf-8&amp;pn=50</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>第三页：http:</code><code>//tieba.baidu.com/f?kw=lol&amp;ie=utf-8&amp;pn=100</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>……</code> <code>规律：</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>贴吧中每个页面URL不同之处，就是最后的pn值，其余的都是一样的。其pn&nbsp;=&nbsp;(page&nbsp;-&nbsp;1)&nbsp;*&nbsp;50</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url&nbsp;=&nbsp;</code><code>"https://tieba.baidu.com/f?kw=lol&amp;ie=utf-8&amp;pn="</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>pn&nbsp;=&nbsp;(page&nbsp;-&nbsp;1)&nbsp;*&nbsp;50</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>full_url&nbsp;=&nbsp;url&nbsp;+&nbsp;str(pn)</code> <code>""</code><code>"</code> <code>&nbsp;</code>&nbsp; <code>#&nbsp;导入库</code> <code>import&nbsp;urllib</code> <code>import&nbsp;urllib.request</code> <code>&nbsp;</code>&nbsp; <code>#&nbsp;根据url地址，获取服务器响应文件</code> <code>def&nbsp;loadPage(url):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>""</code><code>"</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>功能：根据url地址，获取服务器响应文件</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>:param&nbsp;url:&nbsp;url地址</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>:</code><code>return</code><code>:&nbsp;获取的服务器响应文件信息</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>""</code><code>"</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#&nbsp;chrome&nbsp;的User-Agent&nbsp;头</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>header&nbsp;=&nbsp;{ </code><code>'User-Agent'</code><code>:</code><code>'Mozilla/5.0&nbsp;(Windows&nbsp;NT&nbsp;6.1;&nbsp;WOW64)&nbsp;AppleWebKit/537.36&nbsp;(KHTML,&nbsp;like&nbsp;Gecko)&nbsp;Chrome/39.0.2171.71&nbsp;Safari/537.36'</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#&nbsp;url&nbsp;连同&nbsp;headers，一起构造Request请求，这个请求将附带&nbsp;chrome&nbsp;浏览器的User-Agent</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>request&nbsp;=&nbsp;urllib.request.Request(url,&nbsp;headers&nbsp;=&nbsp;header)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#&nbsp;向服务器发送这个请求</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>reponse&nbsp;=&nbsp;urllib.request.urlopen(request)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#&nbsp;获取响应文件中的全部内容</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>html&nbsp;=&nbsp;reponse.read()</code> <code>&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>html</code> <code>&nbsp;</code>&nbsp; <code>#&nbsp;存储文件</code> <code>def&nbsp;writeFile(html,&nbsp;file_name):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>""</code><code>"</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>功能：存服务器响应文件到本地磁盘文件里</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>:param&nbsp;html:&nbsp;服务器响应文件内容</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>:param&nbsp;file_name:&nbsp;本地磁盘文件名</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>:</code><code>return</code><code>:&nbsp;None</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>""</code><code>"</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>with&nbsp;open(file_name,&nbsp;</code><code>"wb"</code><code>)&nbsp;</code><code>as</code>&nbsp;<code>f:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>f.write(html)</code> <code>&nbsp;</code>&nbsp; <code>&nbsp;</code>&nbsp; <code>#&nbsp;贴吧爬虫函数</code> <code>def&nbsp;tiebaSpider(url,&nbsp;begin_page,&nbsp;end_page):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>""</code><code>"</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>功能：处理从begin_page到end_page的url页面</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>:param&nbsp;url:&nbsp;url地址</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>:param&nbsp;begin_page:&nbsp;需爬取的起始页</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>:param&nbsp;end_page:&nbsp;需爬取的终止页</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>:</code><code>return</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>""</code><code>"</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>page&nbsp;in&nbsp;range(begin_page,&nbsp;end_page&nbsp;+&nbsp;1):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>pn&nbsp;=&nbsp;(page&nbsp;-&nbsp;1)&nbsp;*&nbsp;50</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>full_url&nbsp;=&nbsp;url&nbsp;+&nbsp;str(pn)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>file_name&nbsp;=&nbsp;</code><code>"第"</code>&nbsp;<code>+&nbsp;str(page)&nbsp;+&nbsp;</code><code>"页.html"</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(</code><code>"正在爬取"</code>&nbsp;<code>+&nbsp;file_name)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#&nbsp;获取full_url对应的html文件信息</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>html&nbsp;=&nbsp;loadPage(full_url)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(</code><code>"正在存储"</code>&nbsp;<code>+&nbsp;file_name)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#&nbsp;存储full_url对应的html文件信息</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>writeFile(html,&nbsp;file_name)</code> <code>&nbsp;</code>&nbsp; <code>#&nbsp;主函数</code> <code>if</code>&nbsp;<code>__name__&nbsp;==&nbsp;</code><code>'__main__'</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url&nbsp;=&nbsp;</code><code>"https://tieba.baidu.com/f?"</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#&nbsp;输入需爬取的贴吧</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>kw&nbsp;=&nbsp;input(</code><code>"请输入需要爬取的贴吧："</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#&nbsp;输入需爬取的起始页和终止页</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>begin_page&nbsp;=&nbsp;int(input(</code><code>"请输入起始页："</code><code>))</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>end_page&nbsp;=&nbsp;int(input(</code><code>"请输入终止页："</code><code>))</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>key&nbsp;=&nbsp;urllib.parse.urlencode({ </code><code>"kw"</code><code>:kw})</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#&nbsp;组合的的url示例：https:</code><code>//tieba.baidu.com/f?kw=lol&amp;ie=utf-8&amp;pn=</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url&nbsp;=&nbsp;url&nbsp;+&nbsp;key&nbsp;+&nbsp;</code><code>"&amp;ie=utf-8&amp;pn="</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#&nbsp;调用贴吧爬虫函数，爬取数据</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>tiebaSpider(url,&nbsp;begin_page,&nbsp;end_page)</code> </td> 
 </tr> 
 </tbody> 
</table>

**POST方式**

Request请求对象里有data参数，这就是用在POST里的，我们要传送的数据就是这个参数data，data是一个字典，里面要有匹配键值对。

以下以有道词典翻译网站为例为模拟POST请求。

**获取AJAX加载的内容**

有些网页内容是使用AJAX加载的，AJAX一般返回的是JSON，直接对AJAX地址进行POST或GET，就能返回JSON数据。

**都明白了吗？最后注意：**光理论是不够的。这里顺便送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！

*本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。*

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzVkMWQ5MzIwNThlZTYxMzkuanBn?x-oss-process=image/format,png