酷狗音乐网站前端JS的逆向过程

「爱情、让人受尽委屈。」 2022-02-02 11:36 574阅读 0赞

#### 事件背景 ####

前不久我写了一个按歌手爬取酷狗音乐所有歌曲的爬虫，然后在昨天2019年5月10日使用的时候出现了错误，排查问题后发现是获取歌曲相关信息的那个接口做了修改，导致我原有的爬虫失效。在测试后发现，在原有的基础上需要携带**Cookie**里面的`kg_mid`参数才能正常获取，然后我去浏览器里面查看页面刷新出来的请求，发现`kg_mid`参数是浏览器生成的而不是服务器返回的，所以就开始了**逆向前端JS**的过程。

#### 逆向过程 ####

*  首先我查看了所有的请求，然后筛选后只保留了获取**JS文件**的请求，确定具体是哪个文件最死板的方法是一个个打开然后去查有没有`kg_mid`这个参数的相关生成方法，但是这里我们根据**JS文件**的名字推测出应该是我标记的这个`kguser_min.js`文件，因为**Cookie**就是相当于用户的身份，所以根据**user**能推测出是这个文件，事实上也确实是在这个**JS文件**里面，所以有时候合理的推测是可以大大减小我们的工作量的。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70]
 *  将这个**JS文件**下载下来用编辑工具打开，这里我用的是**Notepad**打开的  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 1]
 *  但是打开后发现格式并没有对其，代码挨在一起阅读比较困难，所以我们把里面的**JS代码**剪切出来，找一个JS格式化的工具把它格式化后在粘贴回去。
 *  在线工具网站：[JS/HTML格式化][JS_HTML]
 *  格式化后的效果图  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 2]
 *  接下来是重点了，文件内按**CTRL+F**查找`kg_mid`，定位到的位置代码作用是**设置`KgMid`的name属性的值为`kg_mid`**，所以下一步我们要查的是KgMid  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 3]
 *  查到的第一个位置，代码作用大概是**读取Cookie里面的`kg_mid`对应的值**，但是**读取**不是**写入**，跟我们的目的不符，虽然看这些代码能让我们了解酷狗的运作过程  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 4]
 *  因为这个匹配的位置有点多，所以我就不一一叙述了，直接找到我们发现将`kg_mid`写入**Cookie**的代码
 *  定位到位置，判断依据是**KgUser.Cookie.write**方法，这个**Cookie.write**方法是用来写入**Cookie**的。这里的相关代码作用大概是**读取Cookie里面的`kg_mid`对应的值，判断是否有值，如果没有，则将`kg_mid`写入Cookie**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 5]
 *  而我们的注意力就要放到下面这两句代码上面，我们来分析它们
    
        var n = KgUser.Guid();
        KgUser.Cookie.write(KgUser.KgMid.name, KgUser.Md5(n), KgUser.KgMid.days * 86400, "/",KgUser.GetDomain());
 *  `Guid()`方法很明显是按照一定规则返回一个生成的参数，并传给下面的`Md5()`方法
 *  然后再看**Cookie.write**这个方法，这里面重要的两个参数是**name**、**value**，对应的就是`KgUser.KgMid.name`和`KgUser.Md5(n)`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 6]
 *  所以我们实际只需要模拟函数`Guid()`和`Md5()`，首先找到`Guid()`的位置  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 7]
 *  利用工具调试这段代码后发现，`S4()`作用是生成一个四个随机字符拼接成的字符串，这个字符要求属于`a-z 0-9`的范围  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 8]
 *  然后**Python**模拟这个方法可以用下述代码代替
    
        import random
        #随机生成4位随机的字符列表 范围为a-z 0-9
        n=random.sample('abcdefghijklmnopqrstuvwxyz0123456789',4)
        #将列表元素拼接为字符串
        n=''.join(n)
 *  然后找到`Md5()`的位置  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 9]
 *  这个部分代码比较多，所以我本来第一想法是交给**JS引擎**处理，相当于**Python**调用JS，然后将返回结果传给爬虫，但是最后发现这一部分代码其实就是MD5加密算法的JS实现，而刚开始我以为是酷狗特有的（在MD5通用加密算法的基础上修改具体参数）
 *  这部分如果用JS引擎处理的话需要用到一个**Python**的第三方库**execjs**,相关使用可参看：  
    [Python如何执行JS代码][Python_JS]
 *  但是这里我着重讲的是用另一种方法调用**Python**的`hashlib`这个第三方库，用它来实现**Md5加密**
 *  `hashlib`库的安装，打开CMD控制台，输入：`pip install hashlib`来安装
 *  然后完整的生成`kg_mid`参数的PYTHON代码如下：
    
        # -*- coding: utf-8 -*-
        """
        @author: CoderYYN
        @Email: coderyyn@qq.com

逆向n酷狗js加密方法 MD5 加密参数 Cookie里面的kg\_mid  
“”"  
import hashlib  
import random

#创建md5对象
    md5= hashlib.md5()
    #随机生成4位随机的字符列表 范围为a-z 0-9
    n=random.sample('abcdefghijklmnopqrstuvwxyz0123456789',4)
    #将列表元素拼接为字符串
    n=''.join(n)
    #将字符串编码后更新到md5对象里面
    md5.update(n.encode())
    #调用hexdigest获取加密后的返回值
    result=md5.hexdigest()
    print(result)
    ```

*  运行结果  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 10]

#### 总结 ####

JS的破解其实就是去JS里面找到反爬虫设置的手段，只要读懂了JS的意思，并且能灵活运用**Python**实现，就能达到以假乱真的地步。  
其实对于有基础的同学来说，JS很好读懂，对于没见过的函数和方法，不用迷茫，网上查找相关资料就好了，毕竟这些都是API，不需要背下来。

#### 相关文章 ####

*  [Windows10下安装Anaconda3(64位)详细过程][Windows10_Anaconda3_64]
 *  [强力推荐的文本编辑器 Notepad][Notepad]
 *  [Python如何执行JS代码][Python_JS]

我的个人博客网站是：[www.coderyyn.cn][]  
上面会不定期分享有关**爬虫、算法、环境搭建**以及有趣的帖子  
欢迎大家一起交流学习

**转载请注明**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70]: /images/20220202/ffeee2121944400eac625b35be079d78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 1]: /images/20220202/603e719918ac46c4ae7ac9da5cbf72f7.png
[JS_HTML]: http://tool.chinaz.com/Tools/jsformat.aspx
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 2]: /images/20220202/690cb2ae30704f5f83726e351a3fd6b4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 3]: /images/20220202/7dc1052eca2a4fb3ba912b43dbb7cfba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 4]: /images/20220202/2e50d4fd44d642269b9b9c7ae188229e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 5]: /images/20220202/6af45edc7eac4f56b801ca6b8ac16e1c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 6]: /images/20220202/c0b7b2676cb24f0eba85435b1766584b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 7]: /images/20220202/ff518aab44824d3282cf2e3b1c61bc92.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 8]: /images/20220202/2c97a8a3b59c40da904deea252f1f359.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 9]: /images/20220202/fd47b39c4a7a4580811649b03cf1fca8.png
[Python_JS]: https://blog.csdn.net/ychgyyn/article/details/90112448
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ljaGd5eW4_size_16_color_FFFFFF_t_70 10]: /images/20220202/0f434848817a4cf0871e97efce29a070.png
[Windows10_Anaconda3_64]: https://blog.csdn.net/ychgyyn/article/details/82119201
[Notepad]: https://blog.csdn.net/ychgyyn/article/details/85869673
[www.coderyyn.cn]: http:www.coderyyn.cn