反爬虫必备基础知识点

悠悠 2023-07-08 13:28 21阅读 0赞

## 1.为什么要反爬虫？ ##

因为大家都去爬，服务器会吃不消。严重时会造成 DDos攻击。  
有位网友的比喻十分形象：甲乙丙丁都在食堂打饭，食堂就一个窗口，甲饭没打完，后面的人就得等着。如果甲帮他们整个年级打饭，那么食堂阿姨就累瘫了（服务器崩溃）。乙丙丁不仅得等，而且等到了也没用。阿姨说我累死了，卖不动了，这饭今天你吃不了了。  
其实，说简单点，主要原因有以下两点：  
**(1)、爬虫占总PV比例较高，这样浪费钱（尤其是三月份爬虫）。  
(2)、公司可免费查询的资源被批量抓走，丧失竞争力，这样少赚钱。**

## 2.常见反爬虫措施 ##

**(1)、通过 Headers 反爬虫**  
从用户请求的 Headers 反爬虫是最常见的反爬虫策略。很多网站都会对 Headers 的 User-Agent 进行检测，还有一部分网站会对 Referer 进行检测（一些资源网站的防盗链就是检测 Referer）。如果 遇到了这类反爬虫机制，可以直接在爬虫中添加 Headers，将浏览器的 User-Agent 复制到爬虫的 Headers 中；或者将 Referer 值修改为目标网站域名。对于检测 Headers 的反爬虫，在爬虫中修改或 者添加 Headers 就能很好的绕过。

**(2)、基于用户行为反爬虫**  
还有一部分网站是通过检测用户行为，例如同一 IP 短时间内多次访问同一页面，或者同一账户短时 间内多次进行相同操作。

大多数网站都是前一种情况，对于这种情况，使用 IP 代理就可以解决。可以专门写一个爬虫，爬取 网上公开的代理 ip，检测后全部保存起来。这样的代理 ip 爬虫经常会用到，最好自己准备一个。有了 大量代理 ip 后可以每请求几次更换一个 ip，这在 requests 或者 urllib2 中很容易做到，这样就能很容 易的绕过第一种反爬虫。

对于第二种情况，可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站，可 以通过请求几次，退出登录，重新登录，继续请求来绕过同一账号短时间内不能多次进行相同请求的限 制。

**(3)、动态页面的反爬虫**  
上述的几种情况大多都是出现在静态页面，还有一部分网站，我们需要爬取的数据是通过 ajax 请求 得到，或者通过 JavaScript 生成的。首先用 Firebug 或者 HttpFox 对网络请求进行分析。如果能够找 到 ajax 请求，也能分析出具体的参数和响应的具体含义，我们就能采用上面的方法，直接利用 requests 或者 urllib2 模拟 ajax 请求，对响应的 json 进行分析得到需要的数据。

能够直接模拟 ajax 请求获取数据固然是极好的，但是有些网站把 ajax 请求的所有参数全部加密了。 我们根本没办法构造自己所需要的数据的请求。我这几天爬的那个网站就是这样，除了加密 ajax 参数， 它还把一些基本的功能都封装了，全部都是在调用自己的接口，而接口参数都是加密的。遇到这样的网 站，我们就不能用上面的方法了，我用的是 selenium+phantomJS 框架，调用浏览器内核，并利用 phantomJS 执行 js 来模拟人为操作以及触发页面中的 js 脚本。从填写表单到点击按钮再到滚动页面， 全部都可以模拟，不考虑具体的请求和响应过程，只是完完整整的把人浏览页面获取数据的过程模拟一 遍。

用这套框架几乎能绕过大多数的反爬虫，因为它不是在伪装成浏览器来获取数据（上述的通过添加 Headers 一定程度上就是为了伪装成浏览器），它本身就是浏览器，phantomJS 就是一个没有界面的 浏览器，只是操控这个浏览器的不是人。利用 selenium+phantomJS 能干很多事情，例如识别点触式 （12306）或者滑动式的验证码，对页面表单进行暴力破解等等。  
**(4).IP的访问频率被限制**  
部分访问是存在着恶意性质的，一些平台为了防止这种情况的发生，会在某个同一个IP在单元时间内超过一定的次数的时候，将禁止这个IP继续访问。对于这个限制IP访问效率，可以使用代理IP的方法来解决问题。网上有很多代理IP的资源，也有一些是免费的，但是免费代理的弊端还是不少的，你就例如说匿名性就不是特别的号，很容易就会被赌坊检测出来你在使用代理IP，但是购买像是犀牛代理IP的这种，不仅仅可以保障你的质量，而且匿名性也好，你可以放心的在任何平台上进行使用，提高工作效率。

## 3.传统反爬虫手段 ##

(1)、后台对访问进行统计，如果单个IP访问超过阈值，予以封锁。

(2)、后台对访问进行统计，如果单个session访问超过阈值，予以封锁。

(3)、后台对访问进行统计，如果单个userAgent访问超过阈值，予以封锁。

(4)、以上的组合

组合起来能力变大，误伤率下降，在遇到低级爬虫的时候，还是比较好用的。

由以上我们可以看出，其实爬虫反爬虫是个游戏，RMB玩家才最牛逼。因为上面提到的方法，效果均一般，所以还是用JavaScript比较靠谱。

**资料来源**：  
[https://blog.csdn.net/weixin\_45019231/article/details/101272865?ops\_request\_misc=%7B%22request%5Fid%22%3A%22158271246819195239823257%22%2C%22scm%22%3A%2220140713.130056874…%22%7D&request\_id=158271246819195239823257&biz\_id=0&utm\_source=distribute.pc\_search\_result.none-task][https_blog.csdn.net_weixin_45019231_article_details_101272865_ops_request_misc_7B_22request_5Fid_22_3A_22158271246819195239823257_22_2C_22scm_22_3A_2220140713.130056874_22_7D_request_id_158271246819195239823257_biz_id_0_utm_source_distribute.pc_search_result.none-task]

[https://segmentfault.com/a/1190000005840672][https_segmentfault.com_a_1190000005840672]

当然，我知道我很菜，在众多大佬面前我就是个弟弟，  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RoYzE1MTI5Nw_size_16_color_FFFFFF_t_70]  
**所以我给大家推荐几篇相关的文章：**  
[  
https://segmentfault.com/a/1190000005840672][https_segmentfault.com_a_1190000005840672]

[https://blog.csdn.net/weixin\_45019231/article/details/101272865?ops\_request\_misc=%7B%22request%5Fid%22%3A%22158271246819195239823257%22%2C%22scm%22%3A%2220140713.130056874…%22%7D&request\_id=158271246819195239823257&biz\_id=0&utm\_source=distribute.pc\_search\_result.none-task][https_blog.csdn.net_weixin_45019231_article_details_101272865_ops_request_misc_7B_22request_5Fid_22_3A_22158271246819195239823257_22_2C_22scm_22_3A_2220140713.130056874_22_7D_request_id_158271246819195239823257_biz_id_0_utm_source_distribute.pc_search_result.none-task]

[https_blog.csdn.net_weixin_45019231_article_details_101272865_ops_request_misc_7B_22request_5Fid_22_3A_22158271246819195239823257_22_2C_22scm_22_3A_2220140713.130056874_22_7D_request_id_158271246819195239823257_biz_id_0_utm_source_distribute.pc_search_result.none-task]: https://blog.csdn.net/weixin_45019231/article/details/101272865?ops_request_misc=%7B%22request_id%22:%22158271246819195239823257%22,%22scm%22:%2220140713.130056874..%22%7D&request_id=158271246819195239823257&biz_id=0&utm_source=distribute.pc_search_result.none-task
[https_segmentfault.com_a_1190000005840672]: https://segmentfault.com/a/1190000005840672
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RoYzE1MTI5Nw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200226184747926.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RoYzE1MTI5Nw==,size_16,color_FFFFFF,t_70