【Python】EasySpider：一个很强大的可视化网络爬虫工具，100%开源完全免费

系统管理员 2024-03-17 09:33 36阅读 0赞

> EasySpider是一个可视化爬虫软件，可以使用图形化界面，无代码可视化的设计和执行爬虫任务。只需要在网页上选择自己想要爬的内容并根据提示框操作即可完成爬虫设计和执行。同时软件还可以单独以命令行的方式进行执行，从而可以很方便的嵌入到其他系统中。自发布以来，已经有3.9K Star

### 一、下载安装EasySpider ###

支持Windows、MacOS、Linux系统安装。

下载地址：  
https://github.com/NaiboWang/EasySpider/releases  
![在这里插入图片描述][e056ad47a58a47f28cf38fce14bef143.png]

下载完成后，如下图所示（macos安装为例）：  
![在这里插入图片描述][3385a5e65ea64a7eb4faba5a7e3588ff.png]

### 二、体验初探：获取ebay网站数据 ###

#### 1、设计任务 ####

##### 1）打开EasySpider主程序 #####

![在这里插入图片描述][72b600b43e864f948828231dd5a52165.png]

##### 2）点击【中文】 #####

![在这里插入图片描述][b630159069a34c99af7de14011b4ed73.png]

##### 3）点击【设计任务】 #####

![在这里插入图片描述][f90abfbf2d6a4e6d861163e78b6f8a0c.png]  
然后这里选择【使用纯净版浏览器设计】，无需用户登录信息。  
![在这里插入图片描述][328d24a078bb4c3b9efe3f6508364384.png]

##### 4）进入EasySpider设计窗口，大概过5秒钟后，会同时打开一个浏览器窗口 #####

![在这里插入图片描述][d22cc3ec5406453e887980f7636aea68.png]

##### 5）点击【新建任务】，输入ebay网址地址https://www.ebay.com，点击【开始设计】，打开ebay官网 #####

![在这里插入图片描述][290f3fc104024238abf919551611c2e7.png]  
![在这里插入图片描述][134b11e8f5dc49b9b6c09db95f20814b.png]  
![在这里插入图片描述][95df97e8a830491ca39a472f622f51ad.png]

##### 6）输入搜索关键字：右击搜索框，点击【输入文字】按钮；输入搜索关键字，然后点击【确定】按钮 #####

![在这里插入图片描述][afce7f141e4a4e11a4e73e60f6ac8cbf.png]  
![在这里插入图片描述][3f85bef75bc64f39941e4c76e1c04b6e.png]

##### 7）搜索：右击【搜索】按钮，点击【点击该按钮】，搜索出关于关键字“手机”的所有商品 #####

![在这里插入图片描述][7d7387d07bce41a6899a8f17fd21004a.png]  
![在这里插入图片描述][73007be32b614aca84720bcb9881dcf1.png]  
此时会发现EasySpider主窗口的设计面板，会多出输入文字、点击元素两个动作，表示刚才的操作被加入当前任务队列中了。  
![在这里插入图片描述][6293c49527bc4c1d9530bcc095017146.png]

##### 8）采集标题：右击手机商品的标题，点击【选择全部】，这时所有的商品的标题都会选中；点击【采集数据】，则采集当前页面的手机商品标题的任务会被加入队列中 #####

![在这里插入图片描述][358f0b57c5a14b008f170d667adfdcdf.png]  
![在这里插入图片描述][b96a8f031a014c5da89f8a7b919fec72.png]

这时可以看到EasySpider主窗口的设计面板，又有新的任务加入。  
![在这里插入图片描述][d285c9dd9eb248148e7d2fb491a50b24.png]

##### 9）循环点击下一页：页面滚动至底部，可以看到分页按钮；右击【下一页】按钮，点击【循环点击该链接】按钮 #####

![在这里插入图片描述][366c1f23fb8344f6b7664e922f42fe1f.png]  
![在这里插入图片描述][da8b33f577b9464ba8d1974d1e0a3f3c.png]

##### 10）通过【剪切元素】调整任务顺序，实现循环点击下一页并循环相应页面的所有商品标题 #####

![在这里插入图片描述][cb7813ce360543048b8df3ae8a728e8a.png]  
![在这里插入图片描述][1c3fad502e8b4ca18ab1006f5334faff.png]  
最终采集步骤如下所示：  
![在这里插入图片描述][30e68db0f56e42b38fd464a029bccba9.png]  
注意：执行步骤6至10过程中每个步骤可能会失败，单个步骤多重复操作1～2次就行

##### 11）保存设计任务，关闭设计窗口，返回首页 #####

![在这里插入图片描述][b056a4e6b6b84e52aad144f32f8311d0.png]

#### 2、执行任务 ####

##### 1）回到EasySpider首页，点击【查看执行任务】 #####

![在这里插入图片描述][7efaa4f8b01745e8a6f9bf91046ead76.png]

##### 2）点击【任务信息】 #####

![在这里插入图片描述][82ad953ece104b35aae967d18f95d87c.png]

##### 3）点击【调用任务】 #####

![在这里插入图片描述][90a2021f4fa44358affcea0f006fb022.png]

##### 4）修改执行任务条件，点击【本地直接执行】按钮；复制弹框里的执行脚本 #####

![在这里插入图片描述][3692dd8df42940c684893f058fbf97de.png]

![在这里插入图片描述][7710f590a22c4202979dd39978fe3c81.png]

##### 5）打开easyspider\_executestage程序，粘贴步骤5生成的脚本，然后静静地等待任务执行完成 #####

![在这里插入图片描述][d6558ace623c408dae33e2b4148d080b.png]

##### 6）最终获取的数据文件会保存在Data目录下 #####

![在这里插入图片描述][66ef2b24868d48e3b29dcc1dae41bc3a.png]  
EasySpider官网地址：  
https://github.com/NaiboWang/EasySpider

[e056ad47a58a47f28cf38fce14bef143.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b9c7402991da4ed48ba192a68b2f90e0.png
[3385a5e65ea64a7eb4faba5a7e3588ff.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/18b70cc1267c417bad2ae49d17d336e0.png
[72b600b43e864f948828231dd5a52165.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b7fa65239b11490abb37f3492c88844c.png
[b630159069a34c99af7de14011b4ed73.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/909174e1633544f99b34912950551f6a.png
[f90abfbf2d6a4e6d861163e78b6f8a0c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d8cb613b5d144346b935ea72ba7d2f20.png
[328d24a078bb4c3b9efe3f6508364384.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/8471976572ad4f6c83fe90d39c00ad1b.png
[d22cc3ec5406453e887980f7636aea68.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/4be944722dab41c296b67b3987ec97e0.png
[290f3fc104024238abf919551611c2e7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/65a27a60d8ac41d287ce341d349156b7.png
[134b11e8f5dc49b9b6c09db95f20814b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9ab2e2270c7b400db8229691af246fd0.png
[95df97e8a830491ca39a472f622f51ad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/71666d8bed4c4a31b6612909448bfb0c.png
[afce7f141e4a4e11a4e73e60f6ac8cbf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/5f7c03cdb01045c882cc9bd71092c135.png
[3f85bef75bc64f39941e4c76e1c04b6e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/2f0f81692de648c287f19e9f722df21e.png
[7d7387d07bce41a6899a8f17fd21004a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/0320d7c93bd7479993671870d7b070ee.png
[73007be32b614aca84720bcb9881dcf1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/da5cbb0a4c7745f9b14655839c16df0c.png
[6293c49527bc4c1d9530bcc095017146.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/af77b268885943708a7ee7cf3501d9df.png
[358f0b57c5a14b008f170d667adfdcdf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9b3697a254ff4ba5b2d045b4c4fedb12.png
[b96a8f031a014c5da89f8a7b919fec72.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/fcfb8a016bce4cc5ae5a5ee0209e1da5.png
[d285c9dd9eb248148e7d2fb491a50b24.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/e2aae205ade143a38bd4ec2af586b8d2.png
[366c1f23fb8344f6b7664e922f42fe1f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/fe64fc700c324449abc5ccf258e6b7c6.png
[da8b33f577b9464ba8d1974d1e0a3f3c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/516dcbb1f2d04f5891eccf49ab17d087.png
[cb7813ce360543048b8df3ae8a728e8a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/fb0973b50b2e474d9d36d25e1046da28.png
[1c3fad502e8b4ca18ab1006f5334faff.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9f08df06045d419882e7c83387d24ec3.png
[30e68db0f56e42b38fd464a029bccba9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/811cc3a5a8764602a27d2eda694412c3.png
[b056a4e6b6b84e52aad144f32f8311d0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/aa6225a1f1bf4ab284d86eff94560a45.png
[7efaa4f8b01745e8a6f9bf91046ead76.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c7a530b97271465b87acfb4700dd7954.png
[82ad953ece104b35aae967d18f95d87c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/568aaf1cccbc4ea18690521369f56e1e.png
[90a2021f4fa44358affcea0f006fb022.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c8d55e1d7a17485cb5270b2bb256401f.png
[3692dd8df42940c684893f058fbf97de.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/59b2eb4d1c3245e0a3c9be7423e720fd.png
[7710f590a22c4202979dd39978fe3c81.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/0670d177362b47c9bdcfe129824788ad.png
[d6558ace623c408dae33e2b4148d080b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b1b4ae23fb4749bdbc9b3a36f588adaa.png
[66ef2b24868d48e3b29dcc1dae41bc3a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/2a94f41ec74f4c60a0a018170c48c4a7.png