利用搜索引擎进行资源搜集第二课时

谁借莪１个温暖的怀抱￠ 2022-02-25 13:26 159阅读 0赞

这是一篇搜索进阶篇文章

本篇文章的内容包括以下四个方面  
谷歌高级语法深入探索、利用谷歌进行科学上网、利用chrome浏览器分析网站接口的方法以及简单爬虫分析。

大家利用搜索引擎一般干嘛呢？谷歌搜索引擎作为黑客必用的一个浏览器，自然会有很多比较厉害的特点。让我们来探讨一下谷歌搜索引擎到底能干些啥。

了解谷歌高级语法  
上一篇内容中，我们初步探索了搜索引擎的语法。这一篇，我们同样以例子的方式来深入了解。  
**（1）、排列组合我们的关键词  
利用“|”分隔关键词，表达或者的含义**  
例子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]

这样就可以搜索出包含“身份证号”或者包含“学号”的信息。

**利用空格或者点号(“.”)分隔关键词，表达和的含义**  
例子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 1]

搜索出来的内容是既包含身份证号有包含学号的内容。  
**（2）、需要掌握的高级操作符  
注意：高级操作符和关键词之间需要加上英文冒号（":”）。英文冒号和中文冒号的区别可以但很难用肉眼区别出来。所以要确保在英文输入状态下打这个冒号。**  
**使用site关键字定位网址**  
Site关键字在入门篇中，我们详细使用过。这里不再赘述。  
例子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 2]

**使用intitle查询在标签中的关键字**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 3]  
那么什么是title呢？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 4]  
用红色框框住的就是title了。一般来说，这个title都指明了当前这个页面是什么功能，所以如果需要找特定功能的东西，就可以使用Intitle。

**使用inurl关键字表示在url（链接）中查找关键词**  
那么，什么是url呢？以上面的图片为例子：  
![在这里插入图片描述][20190402091442733.png]  
这个就是url。那我们来验证一下这个关键字的有效性吧。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 5]  
这个例子我使用了两个关键字，限定了在某个网址下搜索url里面包含login的链接。可以看见，关键词的组合是通过空格隔开的方式，与上面说的排列组合我们的关键词类似。

**使用intext表达在网页内容里查找字符串**  
那么，什么是网页内容呢？就是整个网站里面讲的是什么，就好比写一篇文章的主体内容。  
例子：  
![在这里插入图片描述][20190402091503454.png]  
利用上面四个关键字及其排列组合，我们已经可以很精确地对我们的关键词进行查找了。现在，再来讨论下不是很常用的关键字。  
**使用FileType搜索指定类型的文件**  
例子：  
![在这里插入图片描述][20190402091513326.png]  
**使用stocks搜索某个公司的股票信息**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 6]  
当然，谷歌高级语法中，这些关键字算是九牛一毛，但是已经可以满足我们日常的生活了。如果有想深入了解的朋友，我可以推荐一本书，叫《Google Hacking 技术手册》。

**利用谷歌进行科学上网**  
在工作和学习中，我们往往需要利用科学上网去查阅比较新的资料，加上谷歌镜像站本身的不稳定，所以，备一个紧急科学上网的方法也是必要的。我把我科学上网的方法分享给大家。  
我把插件和操作指南放到了压缩包里，大家下载之后照着里面的教程做就好。

链接：[https://pan.baidu.com/s/1BY1dBXu\_i\_wTHgcXWoiWWQ][https_pan.baidu.com_s_1BY1dBXu_i_wTHgcXWoiWWQ]  
提取码：y3zu

失效联系我补  
因为本插件是付费的，为避免广告嫌疑，我也不推荐大家使用这个插件。下面来说说安装流程。百度网盘下载好压缩包后解压，然后打开是这个样子：  
![在这里插入图片描述][20190402091856765.png]  
然后打开你的chrome浏览器，在浏览器中输入扩展程序的网址：chrome://extensions/  
然后把  
![在这里插入图片描述][20190402091915535.png]  
这个文件直接拖到页面中即可。安装完成之后需要注册，然后登陆就可以了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 7]  
一共有三种模式，可根据个人喜好调整。

利用谷歌浏览器搜索进阶实际上内容已经讨论完了。但是我开头提出的问题，搜索引擎能做的，远不止这些。我们可以利用浏览器来提取网站接口，进而为我们搜集资源提供便利。

**利用浏览器分析网站接口**  
先来说说什么是网站接口。一个网站，实际上分为前端和后端，前端一般主要做数据渲染，即将一堆堆难以理解的数据以网页的形式展示出来，那么后端，就是提供这些数据的。而提供的方式，就是利用的接口的方式。今天，我就以链家为例，来分析接口。由于分析接口我用firefox用得比较多，所以这里用firefox进行演示  
首先，打开链家首页，然后点击 alt键，选择工具->web开发者->Web控制台  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 8]  
刷新网站，可以发现，前端向后端发起了很多请求，点开其中一个：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 9]  
这里的https://cq.lianjia.com/site/getRecommendResblockInfo/是请求地址，get是请求方法  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 10]  
选择响应按钮，可以发现后端给前端传来了很多数据。这时我们就抓到了一个接口。但是这个接口是否真的有用呢，还得看具体自己收集什么资源。这里只是给大家介绍有这么一种技术。如果有想深入了解的小伙伴，可以关注本公众号后面的文章。

**简单了解爬虫**  
首先需要说明的一点是，爬虫只能获取公开共享的东西。  
爬虫又叫网络机器人，为啥叫这个名字呢，因为爬虫可以替代人做大量重复的操作。以http://www.java1234.com/为例，这个网站收集了各种各样的百度网盘链接，但是每个页面只有一个网盘链接，而且他们以类似的结构放在每个页面几乎相同的位置上。如果每个链接都人为的一个一个点，然后一个一个保存百度网盘的链接，是否过于繁琐了呢。这时候，如果利用爬虫，合理的编写代码，就可以实现自动收集百度网盘链接资源的功能。  
爬虫一般是程序开发人员用代码对人工过程进行模拟实现的，同时利用线程池技术能大大提高工作效率。从程序开发的角度来说，这对于没有学过编程的同学来说难度就有点大了。但这并不意味者非编程人员就使用不了爬虫。网上也有一些爬虫软件，只不过这些软件往往自定义的能力不行，无法满足爬虫使用者真正的需求。所以，对于看到这里的同学，我还是建议大家学学python这门编程语言，用来写爬虫简单易上手。

谢谢观看，愿对你有帮助。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]: /images/20220225/6e671aa24c7146df93615072d832a572.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 1]: /images/20220225/731dfe41c0794f379daeb096a6cb7171.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 2]: /images/20220225/c82f46c3f91f47949f70e80e93ecd45f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 3]: /images/20220225/b8df89063087414f87dde65e18318313.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 4]: /images/20220225/74ef5b9be16a47569c4dc5746f955c20.png
[20190402091442733.png]: /images/20220225/5ac72583426b4bce968b6404e197b4e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 5]: /images/20220225/b6051bb88a0e453dbaa283083a594b86.png
[20190402091503454.png]: /images/20220225/b2515ecedbea437d9702530360a56436.png
[20190402091513326.png]: /images/20220225/37d78088fd594f5a82de9061a62fdc2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 6]: /images/20220225/749835511bb44343a593b0ea14532454.png
[https_pan.baidu.com_s_1BY1dBXu_i_wTHgcXWoiWWQ]: https://pan.baidu.com/s/1BY1dBXu_i_wTHgcXWoiWWQ
[20190402091856765.png]: /images/20220225/87323941106547769f96154878109eaf.png
[20190402091915535.png]: /images/20220225/9c770053ed71481cb344cf04cbb8579a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 7]: /images/20220225/dc61632a0b5e41a1868bf3ba03e4ce3b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 8]: /images/20220225/96e7e9cf537a46b7a54715a669195da6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 9]: /images/20220225/e5b33a51348e4476ae074726ea1b134d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 10]: /images/20220225/de8e6183aea94106b2054112ece1c564.png