Python网络爬虫笔记（4）HTTP代理神器Fiddler

柔光的暖阳◎ 2022-05-27 06:57 253阅读 0赞

Fiddler是一款强大Web调试工具，它能记录所有客户端和服务器的HTTP请求。 Fiddler启动的时候，默认IE的代理设为了127.0.0.1:8888，而其他浏览器是需要手动设置。

## 工作原理 ##

Fiddler 是以代理web服务器的形式工作的，它使用代理地址：127.0.0.1，端口：8888

![20180413151037583][]

## Fiddler抓取HTTPS设置 ##

1.  启动Fiddler，打开菜单栏中的 Tools > Telerik Fiddler Options，打开“Fiddler Options”对话框。
    
    ![20180413151128460][]
2.  对Fiddler进行设置：
    
     *  打开工具栏->Tools->Fiddler Options->HTTPS，
     *  选中Capture HTTPS CONNECTs (捕捉HTTPS连接)，
     *  选中Decrypt HTTPS traffic（解密HTTPS通信）
     *  另外我们要用Fiddler获取本机所有进程的HTTPS请求，所以中间的下拉菜单中选中...from all processes （从所有进程）
     *  选中下方Ignore server certificate errors（忽略服务器证书错误）
        
        ![2018041315121067][]
3.  为 Fiddler 配置Windows信任这个根证书解决安全警告：Trust Root Certificate（受信任的根证书）。
    
    ![20180413151228675][]
4.  Fiddler 主菜单 Tools -> Fiddler Options…-> Connections
    
     *  选中Allow remote computers to connect（允许远程连接）
     *  Act as system proxy on startup（作为系统启动代理）
        
        ![20180413151301280][]
5.  重启Fiddler，使配置生效（这一步很重要，必须做）。

## Fiddler 如何捕获Chrome的会话 ##

1.  安装SwitchyOmega 代理管理 Chrome 浏览器插件
    
    ![20180413151415246][]
2.  如图所示，设置代理服务器为127.0.0.1:8888
    
    ![20180413151433554][]
3.  通过浏览器插件切换为设置好的代理。
    
    ![20180413151510619][]

## Fiddler界面 ##

设置好后，本机HTTP通信都会经过127.0.0.1:8888代理，也就会被Fiddler拦截到。

![20180413151538818][]

#### 请求 (Request) 部分详解 ####

> 1.  Headers —— 显示客户端发送到服务器的 HTTP 请求的 header，显示为一个分级视图，包含了 Web 客户端信息、Cookie、传输状态等。
> 2.  Textview —— 显示 POST 请求的 body 部分为文本。
> 3.  WebForms —— 显示请求的 GET 参数 和 POST body 内容。
> 4.  HexView —— 用十六进制数据显示请求。
> 5.  Auth —— 显示响应 header 中的 Proxy-Authorization(代理身份验证) 和 Authorization(授权) 信息.
> 6.  Raw —— 将整个请求显示为纯文本。
> 7.  JSON - 显示JSON格式文件。
> 8.  XML —— 如果请求的 body 是 XML 格式，就是用分级的 XML 树来显示它。

#### 响应 (Response) 部分详解 ####

> 1.  Transformer —— 显示响应的编码信息。
> 2.  Headers —— 用分级视图显示响应的 header。
> 3.  TextView —— 使用文本显示相应的 body。
> 4.  ImageVies —— 如果请求是图片资源，显示响应的图片。
> 5.  HexView —— 用十六进制数据显示响应。
> 6.  WebView —— 响应在 Web 浏览器中的预览效果。
> 7.  Auth —— 显示响应 header 中的 Proxy-Authorization(代理身份验证) 和 Authorization(授权) 信息。
> 8.  Caching —— 显示此请求的缓存信息。
> 9.  Privacy —— 显示此请求的私密 (P3P) 信息。
> 10. Raw —— 将整个响应显示为纯文本。
> 11. JSON - 显示JSON格式文件。
> 12. XML —— 如果响应的 body 是 XML 格式，就是用分级的 XML 树来显示它 。

[20180413151037583]: /images/20220527/adde1841cbc64601889be50939d8b3fe.png
[20180413151128460]: /images/20220527/1b78cf0679fb45a7b98830e23d582710.png
[2018041315121067]: /images/20220527/6ab7909a51de4ab280721ab8a35a10d1.png
[20180413151228675]: /images/20220527/668ed4c566b1431faade29e0a5035a38.png
[20180413151301280]: /images/20220527/3013f2dbe070493a9e138171e20b37a1.png
[20180413151415246]: /images/20220527/362584193bb24a4898e4aabbf2415426.png
[20180413151433554]: /images/20220527/03bb56e2864844a3b1fc8667e3cf2819.png
[20180413151510619]: /images/20220527/e757a1df8a7b446d9774d8cce3803f7c.png
[20180413151538818]: /images/20220527/a6bde749ad654777888d255ca8935046.png