django中一些反爬措施

ゝ一纸荒年。 2022-12-28 01:39 108阅读 0赞

# **写在前面** #

前段时间想着做一个关于反爬的小活动，目前已经做完了，整理了用到的一些反爬。本文所述代码均已上传至 github [https://github.com/yejue/thegame2][https_github.com_yejue_thegame2]

--------------------

## **JS断点** ##

JS断点是一个用于debugger的断点语句，在全局设置无限的断点，在爬虫尝试打开开发者工具查看前端源码的时候激活，使得前端页面暂停，有一定的阻挡效果。

使用方法：

<code class="language-javascript">// 在全局JS中设置周期循环调用 debugger
 setInterval(function(){debugger}, 1000);
 </code>

*  1
 *  2

解决方法：

点击如图所示 Deactivate breakpoints 或者快捷键 Ctrl + F8 取消断点，再次点击运行按钮即可。

![在这里插入图片描述][20201001213050852.png_pic_center]

## **JS防Selenium** ##

window对象对应着整一个打开的窗口，也可以说是当前的浏览器整体，搞清楚标签页就大概清楚了。可以在控制台中打印window对象，将selenium与正常浏览器做对比，寻找到差异。比较靠谱的差异是在 navigator中的webdriver，凡是selenium这个属性值都为true，正常的则 undefined。  
![在这里插入图片描述][20201001215344600.png_pic_center]  
使用方法：页面加载时对该属性进行判断，再决定做什么动作。

解决方法：这是一个旧版的基于开发这模式的解决方式，options = webdriver.ChromeOptions() …应该是没效了。此处分享一个新的解决博文。[https://www.cnblogs.com/presleyren/p/12936553.html][https_www.cnblogs.com_presleyren_p_12936553.html]

## **auth系统、session加密** ##

这是基本操作，没多大反爬意图。

auth系统是django自带的一个身份认证系统，使用其中的登录认证装饰器来便捷确保需要登录才能看到核心页面。

<code class="language-python">from django.contrib.auth.decorators import login_required
 from django.utils.decorators import method_decorator
 
 @method_decorator(login_required, name='get')
 class SpiderDataListView(View):
 	pass
 </code>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6

session加点密，只需要在settings更换session引擎即可，多多少少影响观感。

<code class="language-python">SESSION_ENGINE = 'django.contrib.sessions.backends.signed_cookies'
 </code>

*  1

## **request 请求甄别** ##

一个request请求中有这些东西，其中需要关注的是 META 和 headers。

![\`\`\`][2020100210363129.png_pic_center]

META包含了headers，是完整的请求信息，分别使用浏览器和爬虫访问，将取得的请求信息放到notepad++ 中做个对比，会发现请求上的不一样。但实际上META中有差异的部分基本上来自于其中的headers，所以在使用时建议使用headers进行鉴别会更加简洁明了。以下是最时常有差异的几个请求键

<code class="language-python">User-Agent, Accept, Accept-Language, Referer
 </code>

*  1

使用方法：

1.  UserAgent: 判断 python、curl、java、w3m等关键字是否在里面，是则 do something…
2.  Accept: 一开始只有你和请求知道会接收什么东西，譬如 text/html,application/xhtml+xml,  
    application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
3.  Accept-Language: 爬虫默认是不指定语言的
4.  Referer: 描述来自于哪一页，非期待的页面则 do someting …

解决办法：复制一个正常访问的headers 基本可以解决，若不能再查找遗漏。

## **接口加密** ##

保护接口，返回一个加密过的字符串，例如简单的使用 ord 对 unicode 值做偏移，加减乘除，一次函数，二次函数等等… … 使用后返回到前端的数值由 JS 来反向解密。

使用方法：

一个对 unicode 值 +2 的小例子

<code class="language-python">def hanshu(s: str):
 return ''.join([chr(i2) for i2 in [ord(i)+2 for i in s]])
 </code>

*  1
 *  2

<code class="language-javascript">string1 = 'xx'			// 一个接收到的加密字符串
 string2 = '' 			// 一个空的字符串
 for(let i=0;i<string1.length;i++){
 string2 += String.fromCharCode(string1.charAt(i).charCodeAt()-2);
 }
 </code>

*  1
 *  2
 *  3
 *  4
 *  5

解决方法：找规律，或者看 JS 源码

## **JS 混淆** ##

像上面那个情况，为了不被别人很简单的发现规律，对JS进行混淆压缩，变得很难看。

使用方法：站长工具有一个混淆压缩工具，混淆即可  
解决方法：同样的复制混淆过的到工具中，解密即可

## **redis 访问频率** ##

redis是一个运行在内存的nosql数据库，使用redis比一般数据库快特别多，传输延迟可以忽略不计，实时记录访问频率是不错的选择。

使用方法：

1 在caches中设置需要使用的库名和别名

<code class="language-python">CACHES = {
 'request_interval': {
 'BACKEND': 'django_redis.cache.RedisCache',
 'LOCATION': [
 'redis://127.0.0.1:6379/3'
 ],
 'option': {
 'CLIENT_CLASS': 'django_redis.client.DefaultClient'
 }
 }
 }
 </code>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11

2 每一个访问使用一个标志记录在redis中，可以使用用户 ip (在META中取得)

<code class="language-python">from django_redis import get_redis_connection
 
 # 连接
 redis_conn = get_redis_connection(alias='request_interval')
 req_flag_key = 'req_flag_{}'.format(ip)
 # 让管道通知redis
 pl = redis_conn.pipeline()
 # 设置生存时间与value 2s，默认值为 1
 pl.setex(req_flag_key, 2, 1)
 </code>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9

3 在请求进来时判断 req\_flag\_key 是否存在，是则 do something

<code class="language-python">redis_conn = get_redis_connection(alias='request_interval')
 if redis_conn.get('req_flag_{}'.format(ip)):
 	do something ...
 return HttpResponse('', status=418)
 </code>

*  1
 *  2
 *  3
 *  4

## **字体反爬** ##

在网站中，我们只需要保证正常人看到的信息是正常的即可，所以在保证前端显示一致的情况下，源码可以是任何东西。字体反爬即是如此，前端显示的是一回事，源码显示的又是另一回事。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTc3Njc4_size_16_color_FFFFFF_t_70_pic_center]  
使用方法：

1 下载一个字体编辑工具，例如 FontCreator  
2 打开一个字体，使用其他的图片代替关键的字，可以复制其他字形到覆盖上去，如下图是将 ！覆盖到了3、4、5、6 的位置，那么在前端中，这几个数字将显示为 ！  
![在这里插入图片描述][2020100211183490.png_pic_center]  
3 前端引用字体。至于要怎么样随机字体，就看个人需求了。

<code class="language-css">@font-face {
 font-family: 'Arial g';
 src: url("{% static 'fonts/arial.ttf' %}");
 }
 
 .xxx {font-family: 'Arial g'}
 </code>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6

解决方法：查看对应的字体，下载，同样使用字体编辑工具打开，找到对应 unicode 值的真实值即可。

[https_github.com_yejue_thegame2]: https://github.com/yejue/thegame2
[20201001213050852.png_pic_center]: /images/20221120/6e5e58c101374f14afe7063ea89eb6df.png
[20201001215344600.png_pic_center]: /images/20221120/20380fc68b054b4493a107b7edfb1cbd.png
[https_www.cnblogs.com_presleyren_p_12936553.html]: https://www.cnblogs.com/presleyren/p/12936553.html
[2020100210363129.png_pic_center]: /images/20221120/629070acc0034d95992615f63d0fccaa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTc3Njc4_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20201002111105998.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTc3Njc4,size_16,color_FFFFFF,t_70#pic_center
[2020100211183490.png_pic_center]: https://img-blog.csdnimg.cn/2020100211183490.png#pic_center