Android抓包指南: 使用Fiddler抓HTTP/HTTPS包

向右看齐 2023-10-18 22:13 189阅读 0赞

本文由encoderlee发表于CSDN博客： [https://blog.csdn.net/CharlesSimonyi/article/details/90493122][https_blog.csdn.net_CharlesSimonyi_article_details_90493122]

#### 抓包的重要性 ####

网络抓包，是Android应用逆向分析的重中之重，很多时候我们拿到一个APP，不知道从何入手分析，往往是从抓包开始，先弄清楚他与服务器通信的内容，如果一目了然，我们完全可以照搬，自行写一个程序来模拟，如果有一些加密字段和随机字段，也不用担心，我们可以从抓包中了解到一些关键的URL和session之类的信息，然后再反编译分析代码的时候，这些字符串可以帮助我们更快的定位关键代码所在之处。

#### Fiddler的使用 ####

Fiddler简直是HTTP抓包分析的神器，比Chrome等浏览器自带的调试工具高不知道哪去了，浏览器自带的调试工具，基本只能查看包内容，而Fiddler除了查看，还可以针对不同类型的内容进行格式化，观赏效果真的不要太爽。除了“看”数据包，它还可以一键重发HTTP请求，修改请求内容并重发HTTP请求，拦截修改数据包，返回预设的欺骗性内容等，还可以编写脚本进行更高级的自动化处理。  
废话不多说，到Fiddler官网下载安装：[https://www.telerik.com/fiddler][https_www.telerik.com_fiddler]  
![20190524000457812.png][]  
接下来，我们要开启Fiddler的HTTPS抓包功能，否则只能看到HTTP请求的内容，而HTTPS请求则是密文。  
在Fiddler中点击 \[Tools\] — \[Options\] — \[HTTPS\] 勾选如下设置：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NoYXJsZXNTaW1vbnlp_size_16_color_FFFFFF_t_70]  
然后在 \[Connections\] 选项卡中勾选 \[Allow remote computers to connect\]，我们知道Fiddler默认在8888端口开启HTTP/HTTPS代理服务，不管是Android、IPhone还是PC等等设备和程序，只要设置了HTTP/HTTPS代理，流量从Fiddler走，就可以抓包分析。此处开启远程访问，使得我们的Android/Iphone手机可以在WLAN设置上设置它为HTTP/HTTPS代理，从而手机上的应用的HTTP/HTTPS流量将从Fiddler走，Fiddler就能捕获它们。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NoYXJsZXNTaW1vbnlp_size_16_color_FFFFFF_t_70 1]  
然后确保手机和PC在同一个局域网中，然后在手机上设置WLAN代理，此处我的PC内网IP地址是192.168.1.100，你需要根据自己的情况进行设置：

![20190524002010766.png][] ![20190524002246175.png][] ![20190524002328998.png][]

然后我们在手机浏览器中打开http://192.168.1.100:8888 下载Fiddler根证书并安装  
这是Fiddler解密HTTPS通信的关键，Fiddler对HTTPS包解密的原理是中间人攻击，对客户端声称自己的服务端，对服务端声称自己的客户端，两头欺骗。当然要想欺骗成功，前提是让客户端信任自己的根证书，接下来就可以愉快的观看HTTPS请求明文内容了。

#### 畅快的抓包 ####

Fiddler这个抓包方法，不仅对Android有用，对IPhone也有用。接下来在手机上，无论是打开浏览器，打开手机上的应用，应用内嵌的WebView，我们都可以在Fiddler中看到HTTP/HTTPS请求内容，但细心查看就会发现，还是有的HTTP包装不到。一般能抓到包的几种情况：

*  Android内置浏览器
 *  应用内置WebView
 *  应用使用URLConnection或OkHttp发起HTTP请求

抓不到包，很可能目标APP使用了其它HTTP Client，比如自带一个libcurl的so，那样最终调用的是系统的Socket API，WLAN上设置的HTTP/HTTPS代理对它无效，但其实这种情况很少，市面上绝大多数的应用，都是使用URLConnection和OkHttp，尤其是近些年的应用，几乎都是清一色的OkHttp，所以绝大多数情况下都能抓到包，如果抓不到，很可能是应用自己进行了额外的SSL证书校验工作，根据情况再特殊分析特殊处理。

#### 注意！Android7.0以后抓包失败 ####

以前我一直都是在Android5.1的手机上抓包分析应用，屡试不爽，但是近来使用Android7.1和Android8.1的手机，发现按照上面设置以后，尽管向Android导入了Fiddler的根证书，还是没法抓到HTTPS包的内容。  
![20190524004750729.png][]![20190524004853756.png][]  
以 \[云闪付\] 为例，具体表现为APP中的WebView无法打开内容，和网络断开了一般，Fiddler中可以看到大量的CONNECT然后就没有下文了。

回顾之前我们总结的Fiddler抓不到包的原因 [《Windows抓包指南②：Fiddler抓不到的包是怎么回事？》][Windows_Fiddler]可以猜想，很可能在Android7.0以及以后的版本，即便是导入了Fiddler根证书，但是APP的URLConnection、OkHttp、WebView，仍然不信任系统中导入的Fiddler根证书。

#### 验证猜想 ####

自行编写Android应用，分别使用URLConnection、OkHttp发起HTTPS请求，用WebView打开HTTPS的网页，看看出了什么错误。

try {
    	OkHttpClient client = new OkHttpClient();
    	Request request = new Request.Builder()
    		.url("https://www.csdn.net")
    		.build();
    	Response response = client.newCall(request).execute();
    	String back_data = response.body().string();
    }
    catch (Exception e){
    	Log.e("TestHttp", e.toString());
    }
    
      
      
       
      
      
       
        1 
        2 
        3 
        4 
        5 
        6 
        7 
        8 
        9 
        10 
        11

运行后果然抛出了异常：

> javax.net.ssl.SSLHandshakeException: java.security.cert.CertPathValidatorException: Trust anchor for certification path not found.

不出所料，和我们之前在Windows上分析的情况一样，客户端并不信任我们导入系统的Fiddler根证书，那为什么在Android6.0及以前能正常工作呢？经过查阅资料，这个改动果然是从Android7.0开始的。  
查看Android官方文档说明：[https://developer.android.com/training/articles/security-config.html][https_developer.android.com_training_articles_security-config.html]

> By default, secure connections (using protocols like TLS and HTTPS) from all apps trust the pre-installed system CAs, and apps targeting Android 6.0 (API level 23) and lower also trust the user-added CA store by default.

果然，在Android 6.0 (API level 23)及以前，APP默认信任系统自带的CA证书以及用于导入的CA证书，Android 6.0 (API level 23)以后，APP默认只信任系统自带的CA证书，对于用户导入的不予理会。

也就是说，关于 \[network-security-config\]，在Android 6.0 (API level 23)及以前默认是这样的：

<base-config cleartextTrafficPermitted="true">
        <trust-anchors>
            <certificates src="system" />
            <certificates src="user" />
        </trust-anchors>
    </base-config>
    
      
      
       
      
      
       
        1 
        2 
        3 
        4 
        5 
        6

Android 7.0 (API level 24) 及以后是这样的：

<base-config cleartextTrafficPermitted="true">
        <trust-anchors>
            <certificates src="system" />
        </trust-anchors>
    </base-config>
    
      
      
       
      
      
       
        1 
        2 
        3 
        4 
        5

同时在上面的链接中，Google也给出了办法，怎么在Android7.0及以后的系统中，让APP信任我们手工导入的CA证书。  
那就是在编译APK之前，在你的Android项目的res文件夹下创建xml文件 \[net\_security\_config.xml\] 内容为：

<?xml version="1.0" encoding="utf-8"?>
    <network-security-config xmlns:android="http://schemas.android.com/apk/res/android">
        <base-config cleartextTrafficPermitted="true">
            <trust-anchors>
                <certificates src="system" overridePins="true" />
                <certificates src="user" overridePins="true" />
            </trust-anchors>
        </base-config>
    </network-security-config>
    
      
      
       
      
      
       
        1 
        2 
        3 
        4 
        5 
        6 
        7 
        8 
        9

然后在AndroidManifest.xml中的application标签下添加

android:networkSecurityConfig="@xml/net_security_config.xml"
    
      
      
       
      
      
       
        1

编译安装，然后该APP就信任用户添加的CA证书，从而Fiddler就可以抓到它的HTTPS包并解密内容。

#### Are You Kidding Me? ####

什么？你让我重新编译APP？我就是要分析第三方APP的通信协议，你让我重新编译微信？重新编译QQ？  
非也非也，还记得我们之前在[《Windows抓包指南(一)：Proxifier+Fiddler对第三方程序强制抓包》][Windows_Proxifier_Fiddler]中说的吗？

有条件要上，没有条件创造条件也要上！

#### 四个解决方案 ####

强上的办法有四个：

① 重新打包目标APK，修改AndroidManifest.xml

我们可以使用Apktool等工具对目标APK进行解包，添加 \[net\_security\_config.xml\] 并修改 \[AndroidManifest.xml\] 然后重新打包。但是现在很多应用都做了防打包处理，要么利用Apktool弱点，制造错误让Apktool抛异常，要么重新打包后程序校验自身证书，校验失败无法启动，罢工。

② Root手机，安装Xposed框架，使用JustTrustMe模块干它

这个方案实际上就是之前我们在 [《Windows抓包指南②：Fiddler抓不到的包是怎么回事？》][Windows_Fiddler]中的思路在Android上的实践。Xposed的JustTrustMe模块Hook了Android SDK的HTTP库，强制跳过SSL证书验证，不管是真证书还是假证书，一律验证通过，于是Fiddler作为中间人攻击制造的假证书也被通过了。

JustTrustMe项目源代码：[https://github.com/Fuzion24/JustTrustMe][https_github.com_Fuzion24_JustTrustMe]

需要注意的是JustTrustMe有个坑，不要下载它Github中编译的Latest release版本，其实那是一个很古老的版本，对于APP内嵌的WebView没有做处理，安装以后，URLConnection、OkHttp通信的HTTPS是可以抓到了，但是APP内嵌的WebView仍然出错。所以最好git clone它的最新源代码，然后自行编译。

也可以下载我编译的最新版本：[https://github.com/encoderlee/JustTrustMe/releases/download/v0.3/JustTrustMe\_20190516.apk][https_github.com_encoderlee_JustTrustMe_releases_download_v0.3_JustTrustMe_20190516.apk]

当然这个方案也有缺点，毕竟手机被Root后，还安装了Xposed框架，有的APP可是会检测的，发现手机被Root，或者自身被Xposed Hook，就罢工了。

③退缩，使用Android5.1 Android6.0的手机来抓包分析

④终极大法，购入Google亲儿子手机，比如Nexus Pixel，下载Android AOSP代码，直接修改Android系统源代码，强行验证所有SSL证书为真，编译，刷机，愉快工作。

#### 愉快的抓包分析 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NoYXJsZXNTaW1vbnlp_size_16_color_FFFFFF_t_70 2]  
可以看到，在使用了方案②后，Android7.1.2的手机，成功解密APP的HTTPS通信内容

#### 不要高兴的太早 ####

此处，虽然依旧能抓到大部分Android APP的HTTP/HTTPS包，但是别高兴的太早，有的APP为了防抓包，还做了很多操作：  
① 二次加密  
有的APP，在涉及到关键数据通信时，会将正文二次加密后才通过HTTPS发送，我们抓包抓到的是一堆二进制base64  
② 自带HTTP Client  
像支付宝那样的变态，自己带了一个基于so的HTTP Client库，对于关键数据，都不走URLConnection和OkHttp，而是走自己的HTTP Client库，甚至一些WebView页面的渲染，都是先用自带的HTTP Client请求得到json数据，然后填到HTML模板里面，再在WebView里渲染出来。  
③ SSL/TLS Pinning，APP自带服务端证书，除了自带证书什么都不信

当然，兵来将挡，水来土掩，针对各种情况再逐一对症分析，弄清楚原理，才能解决更多的难题，在逆向工程的道路上走的越远。  
抓包的基本方法已经介绍完毕，后续文章将会分享一些我在工作中遇到的Windows、Android平台上无法抓包的难题及解决方案，感谢持续关注。。。

#### Android 7.0+抓包https突破ssl-pinning方案 ####

[https://blog.csdn.net/u014644574/article/details/104930877][https_blog.csdn.net_u014644574_article_details_104930877]

#### [encoderlee][]回复 ####

[encoderlee][] 回复 guozili2： 如果Fiddler里没有任何记录，但是APP又能正常联网，多半是自带so网络库了，阿里系很多APP都带。

[encoderlee][] 回复 青鸟飞鱼： 使用此方法抓淘宝包，如果淘宝APP表现为出错无法联网，可能是对Xposed及JustTrustMe模块有检测，或者做了SSL证书的二次校验，需要分析它的代码干掉他。如果淘宝APP表现为正常联网，但是Fiddler抓不到，则可能是使用了自带的HTTP库，需要分析是哪个so，以及JNI调了该so的哪些函数，通过API hook的方式来抓包。

[https_blog.csdn.net_CharlesSimonyi_article_details_90493122]: https://blog.csdn.net/CharlesSimonyi/article/details/90493122
[https_www.telerik.com_fiddler]: https://www.telerik.com/fiddler
[20190524000457812.png]: https://img-blog.csdnimg.cn/20190524000457812.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NoYXJsZXNTaW1vbnlp_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190524000751246.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NoYXJsZXNTaW1vbnlp,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NoYXJsZXNTaW1vbnlp_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20190524000828262.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NoYXJsZXNTaW1vbnlp,size_16,color_FFFFFF,t_70
[20190524002010766.png]: https://img-blog.csdnimg.cn/20190524002010766.png
[20190524002246175.png]: https://img-blog.csdnimg.cn/20190524002246175.png
[20190524002328998.png]: https://img-blog.csdnimg.cn/20190524002328998.png
[20190524004750729.png]: https://img-blog.csdnimg.cn/20190524004750729.png
[20190524004853756.png]: https://img-blog.csdnimg.cn/20190524004853756.png
[Windows_Fiddler]: https://blog.csdn.net/CharlesSimonyi/article/details/90486208
[https_developer.android.com_training_articles_security-config.html]: https://developer.android.com/training/articles/security-config.html
[Windows_Proxifier_Fiddler]: https://blog.csdn.net/CharlesSimonyi/article/details/90383486
[https_github.com_Fuzion24_JustTrustMe]: https://github.com/Fuzion24/JustTrustMe
[https_github.com_encoderlee_JustTrustMe_releases_download_v0.3_JustTrustMe_20190516.apk]: https://github.com/encoderlee/JustTrustMe/releases/download/v0.3/JustTrustMe_20190516.apk
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NoYXJsZXNTaW1vbnlp_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190524021234135.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NoYXJsZXNTaW1vbnlp,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_u014644574_article_details_104930877]: https://blog.csdn.net/u014644574/article/details/104930877
[encoderlee]: https://me.csdn.net/CharlesSimonyi