四款好用的爬虫软件

绝地灬酷狼 2024-03-27 14:34 90阅读 0赞

工欲善其事必先利其器的道理相信大家都懂的，想要提升Python爬虫效率，一些常用的工具是必不可少的。

以下就是**个人推荐的几款Python爬虫工具：Chrome、Charles、Postman、Xpath-Helper**。

1.  ### Chrome ###

Chrome属于爬虫的基础工具，一般我们用它做初始的爬取分析，页面逻辑跳转、简单的js调试、网络请求的步骤等。我们初期的大部分工作都在它上面完成，打个不恰当的比喻，不用Chrome，我们就要从智能时代倒退到马车时代。

同类工具： Firefox、Safari、Opera

![f8a19fd556b2f53ffde8f3851f4312dc.png][]

### 2、Charles ###

Charles与Chrome对应，只不过它是用来做App端的网络分析，相较于网页端，App端的网络分析较为简单，重点放在分析各个网络请求的参数。当然，如果对方在服务端做了参数加密，那就涉及逆向工程方面的知识，那一块又是一大箩筐的工具，这里暂且不谈。

同类工具：Fiddler、Wireshark、Anyproxy

![b7ad7bd1c6cdfeb32a06f9867fc08bfd.png][]

### 3、Postman ###

当然，大部分网站不是你拷贝一下cURL链接，改改其中参数就可以拿到数据的，接下来我们做更深层次的分析，就需要用到Postman“大杀器”了。为什么是“大杀器”呢？因为它着实强大。配合cURL，我们可以将请求的内容直接移植过来，然后对其中的请求进行改造，勾选即可选择我们想要的内容参数，非常优雅。

![d0d8d5ff12cbd95b88b0dad3e3bd103d.png][]

### 4、Xpath-Helper ###

在提取网页数据时，我们一般需要使用xpath语法进行页面数据信息提取，一般地，但我们只能写完语法，发送请求给对方网页，然后打印出来，才知道我们提取的数据是否正确，这样一方面会发起很多不必要的请求，另外一方面，也浪费了我们的时间。

这个就可以用到XPath Helper了，通过Chrome安装插件后，我们只需要点击它在对应的xpath中写入语法，然后便可以很直观地在右边看到我们的结果，效率up+10086。

![1f3c31a610863a299ec017d18fd319a9.png][]

到此，相信大家对Python爬虫用到的工具有了一定的了解了，不妨去实际操作一番吧！

[f8a19fd556b2f53ffde8f3851f4312dc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/344f673e3625440c8b4530ad88661fd3.png
[b7ad7bd1c6cdfeb32a06f9867fc08bfd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/b27b63514e73471890e2f156d595297f.png
[d0d8d5ff12cbd95b88b0dad3e3bd103d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/85bf7ee58aa84bc8a8ef93774db6cf1b.png
[1f3c31a610863a299ec017d18fd319a9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/9ce84da976754887b84b231b4e8d0d33.png