八大Python爬虫技巧，你会几个？

ゞ浴缸里的玫瑰 2023-02-13 11:54 19阅读 0赞

![format_png][]

python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。

爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。另外要**注意：**光理论是不够的。这里顺便送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！

**1、基本抓取网页**

get方法

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>import&nbsp;urllib2</code> <code>url&nbsp;&nbsp;"http://www.baidu.com"</code> <code>respons&nbsp;=&nbsp;urllib2.urlopen(url)</code> <code>print&nbsp;response.read()</code> </td> 
 </tr> 
 </tbody> 
</table>

post方法

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 </td> 
 <td> <code>import&nbsp;urllib</code> <code>import&nbsp;urllib2</code> &nbsp; <code>url&nbsp;=&nbsp;"http://abcde.com"</code> <code>form&nbsp;=&nbsp;{'name':'abc','password':'1234'}</code> <code>form_data&nbsp;=&nbsp;urllib.urlencode(form)</code> <code>request&nbsp;=&nbsp;urllib2.Request(url,form_data)</code> <code>response&nbsp;=&nbsp;urllib2.urlopen(request)</code> <code>print&nbsp;response.read()</code> </td> 
 </tr> 
 </tbody> 
</table>

**2、使用代理IP**

在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP；

在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页，如下代码片段：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 </td> 
 <td> <code>import&nbsp;urllib2</code> &nbsp; <code>proxy&nbsp;=&nbsp;urllib2.ProxyHandler({'http':&nbsp;'127.0.0.1:8087'})</code> <code>opener&nbsp;=&nbsp;urllib2.build_opener(proxy)</code> <code>urllib2.install_opener(opener)</code> <code>response&nbsp;=&nbsp;urllib2.urlopen('http://www.baidu.com')</code> <code>print&nbsp;response.read()</code> </td> 
 </tr> 
 </tbody> 
</table>

**3、Cookies处理**

cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)，python提供了cookielib模块用于处理cookies，cookielib模块的主要作用是提供可存储cookie的对象，以便于与urllib2模块配合使用来访问Internet资源.

代码片段：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>import&nbsp;urllib2,&nbsp;cookielib</code> &nbsp; <code>cookie_support=&nbsp;urllib2.HTTPCookieProcessor(cookielib.CookieJar())</code> <code>opener&nbsp;=&nbsp;urllib2.build_opener(cookie_support)</code> <code>urllib2.install_opener(opener)</code> <code>content&nbsp;=&nbsp;urllib2.urlopen('http://XXXX').read()</code> </td> 
 </tr> 
 </tbody> 
</table>

关键在于CookieJar()，它用于管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失，所有过程都不需要单独去操作。

手动添加cookie

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code>cookie&nbsp;=&nbsp;"PHPSESSID=91rurfqm2329bopnosfu4fvmu7;&nbsp;kmsign=55d2c12c9b1e3;&nbsp;KMUID=b6Ejc1XSwPq9o756AxnBAg="</code> &nbsp; <code>request.add_header("Cookie",&nbsp;cookie)</code> </td> 
 </tr> 
 </tbody> 
</table>

**4、伪装成浏览器**

某些网站反感爬虫的到访，于是对爬虫一律拒绝请求。所以用urllib2直接访问网站经常会出现HTTP Error 403: Forbidden的情况

对有些 header 要特别留意，Server 端会针对这些 header 做检查

User-Agent 有些 Server 或 Proxy 会检查该值，用来判断是否是浏览器发起的 Request

Content-Type 在使用 REST 接口时，Server 会检查该值，用来确定 HTTP Body 中的内容该怎样解析。

这时可以通过修改http包中的header来实现，代码片段如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 </td> 
 <td> <code>import&nbsp;urllib2</code> &nbsp; <code>headers&nbsp;=&nbsp;{ </code> <code>&nbsp;&nbsp;&nbsp;</code><code>'User-Agent':'Mozilla/5.0&nbsp;(Windows;&nbsp;U;&nbsp;Windows&nbsp;NT&nbsp;6.1;&nbsp;en-US;&nbsp;rv:1.9.1.6)&nbsp;Gecko/20091201&nbsp;Firefox/3.5.6'</code> <code>}</code> <code>request&nbsp;=&nbsp;urllib2.Request(</code> <code>&nbsp;&nbsp;&nbsp;</code><code>url&nbsp;=&nbsp;'http://my.oschina.net/jhao104/blog?catalog=3463517',</code> <code>&nbsp;&nbsp;&nbsp;</code><code>headers&nbsp;=&nbsp;headers</code> <code>)</code> <code>print&nbsp;urllib2.urlopen(request).read()</code> </td> 
 </tr> 
 </tbody> 
</table>

**5、页面解析**

对于页面解析最强大的当然是正则表达式，当然还有BeautifulSoup,lxml,xpath等

**6、验证码的处理**

对于一些简单的验证码，可以进行简单的识别。本人也只进行过一些简单的验证码识别。但是有些反人类的验证码，比如12306，可以通过打码平台进行人工打码，当然这是要付费的。

**7、gzip压缩**

有没有遇到过某些网页，不论怎么转码都是一团乱码。哈哈，那说明你还不知道许多web服务具有发送压缩数据的能力，这可以将网络线路上传输的大量数据消减 60% 以上。这尤其适用于 XML web 服务，因为 XML 数据 的压缩率可以很高。

但是一般服务器不会为你发送压缩数据，除非你告诉服务器你可以处理压缩数据。

于是需要这样修改代码：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>import&nbsp;urllib2,&nbsp;httplib</code> &nbsp; <code>request&nbsp;=&nbsp;urllib2.Request('http://xxxx.com')</code> <code>request.add_header('Accept-encoding',&nbsp;'gzip')&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1</code> <code>opener&nbsp;=&nbsp;urllib2.build_opener()</code> <code>f&nbsp;=&nbsp;opener.open(request)</code> </td> 
 </tr> 
 </tbody> 
</table>

这是关键:创建Request对象，添加一个 Accept-encoding 头信息告诉服务器你能接受 gzip 压缩数据

然后就是解压缩数据：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 </td> 
 <td> <code>import&nbsp;StringIO</code> <code>import&nbsp;gzip</code> &nbsp; <code>compresseddata&nbsp;=&nbsp;f.read()&nbsp;</code> <code>compressedstream&nbsp;=&nbsp;StringIO.StringIO(compresseddata)</code> <code>gzipper&nbsp;=&nbsp;gzip.GzipFile(fileobj=compressedstream)&nbsp;</code> <code>print&nbsp;gzipper.read()</code> </td> 
 </tr> 
 </tbody> 
</table>

**8、多线程并发抓取**

单线程太慢的话，就需要多线程了，这里给个简单的线程池模板 这个程序只是简单地打印了1-10，但是可以看出是并发的。

虽然说python的多线程很鸡肋，但是对于爬虫这种网络频繁型，还是能一定程度提高效率的。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 </td> 
 <td> <code>from&nbsp;threading&nbsp;import&nbsp;Thread</code> <code>from&nbsp;Queue&nbsp;import&nbsp;Queue</code> <code>from&nbsp;time&nbsp;import&nbsp;sleep</code> &nbsp; <code>#&nbsp;q是任务队列</code> <code>#NUM是并发线程总数</code> <code>#JOBS是有多少任务</code> <code>q&nbsp;=&nbsp;Queue()</code> <code>NUM&nbsp;=&nbsp;2</code> <code>JOBS&nbsp;=&nbsp;10</code> <code>#具体的处理函数，负责处理单个任务</code> <code>def&nbsp;do_somthing_using(arguments):</code> <code>&nbsp;&nbsp;&nbsp;</code><code>print&nbsp;arguments</code> <code>#这个是工作进程，负责不断从队列取数据并处理</code> <code>def&nbsp;working():</code> <code>&nbsp;&nbsp;&nbsp;</code><code>while&nbsp;True:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>arguments&nbsp;=&nbsp;q.get()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>do_somthing_using(arguments)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>sleep(1)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>q.task_done()</code> <code>#fork&nbsp;NUM个线程等待队列</code> <code>for&nbsp;i&nbsp;in&nbsp;range(NUM):</code> <code>&nbsp;&nbsp;&nbsp;</code><code>t&nbsp;=&nbsp;Thread(target=working)</code> <code>&nbsp;&nbsp;&nbsp;</code><code>t.setDaemon(True)</code> <code>&nbsp;&nbsp;&nbsp;</code><code>t.start()</code> <code>#把JOBS排入队列</code> <code>for&nbsp;i&nbsp;in&nbsp;range(JOBS):</code> <code>&nbsp;&nbsp;&nbsp;</code><code>q.put(i)</code> <code>#等待所有JOBS完成</code> <code>q.join() 都懂了吗？最后注意：光理论是不够的。这里顺便送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！</code> </td> 
 </tr> 
 </tbody> 
</table>

*本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。*

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzVkMmMyZTBhNDJmM2IzNjkuanBn?x-oss-process=image/format,png