浅谈Web请求过程

忘是亡心i 2022-03-27 13:36 297阅读 0赞

# 1B/S网络架构 #

## 1.1 为什么使用该架构(好处) ##

随着Web2.0时代的到来，互联网架构，由传统的C/S架构（Client/Server）逐渐过渡到B/S架构（Browser/Server），B/S架构带来的好处：

(1) 客服端使用统一浏览器。一方面，浏览器具有统一性，从而有效屏蔽了不同服务提供商提供给用户使用服务的差异性；另一方面，浏览器的交互特性具有用户使用继承性，即用户使用了这个浏览器之后就有了使用其他浏览器的经验，彼此差不多，经验可复用。

(2) 服务端基于统一的HTTP协议。使用统一的HTTP标准（所有开发者都要遵从），为服务提供商简化了开发模式，节省开发成本，服务开发者只需要关注提供服务的应用逻辑（不需关注协议通信等，只需要关注业务逻辑，所以此架构简化了服务器提供者的开发）。

既然如此，用户在浏览器中一次简单的点击到看到返回信息的操作，这期间到底发生了什么？涉及到哪些技术？

## 1.2架构特点 ##

传统C/S架构采用的长连接的交互模式，B/S网络架构从前端到后端都是基于统一的应用层协议HTTP来交互数据，采用无状态、短链接的通信模式（一次请求获取一次数据，然后断开通信连接，可以让其他更多用户连接通信），所以就有了如下好处：

**（1）满足海量用户访问请求；（2）保持用户请求的快速响应。**

无论网络架构如何，都有一些共性原则需要遵守：

1.  必须要有一个统一资源定位符URL（独一无二的URL，用来寻找资源）
2.  必须要遵守HTTP协议与服务端交互（统一的访问资源的规则、协议或招呼方式）
3.  必须在浏览器中展示（渲染）返回的数据。

那么，如上文所问，用户的一次简单的店家操作是如何发起一个请求呢？

## 1.3 如何发出一个请求的过程 ##

发起一个HTTP请求的过程就是建立一个Socket通信的过程：

1.  用户在浏览器输入网址，在浏览器建立Socket连接之前，必须根据地址栏里写入的URL的域名DNS解析出IP地址
2.  再根据这个IP地址和默认的80端口与远程服务器建立Socket连接
3.  然后浏览器根据这个url组装成一个get类型的HTTP请求头，发送给目标服务器
4.  服务器执行逻辑，返回结果数据，断开连接。

\[linux环境\]: Linux下可以使用curl+url就可以简单发起HTTP请求。查看http头信息，加上\-I选项,例子如下：

curl “http://www.baidu.com”

curl “http://www.baidu.com” –I

# 2 理论分析 #

了解了浏览器是如何发出一个请求的，那么就说一下发起web请求过程所涉及的技术：

## 2.1 HTTP解析 ##

***HTTP（超文本传输协议）***是应用层上的一种客户端/服务端模型的通信协议,它由**请求**和**响应**构成，且是**无状态**的。

![20190404230149925.png][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NTRE5fVGVyZW5jZQ_size_16_color_FFFFFF_t_70][]

协议内容：

**请求（Request）**客户端发送一个HTTP请求到服务端的格式：

*  请求行
 *  请求头
 *  请求体

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NTRE5fVGVyZW5jZQ_size_16_color_FFFFFF_t_70 1][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NTRE5fVGVyZW5jZQ_size_16_color_FFFFFF_t_70 2][]

（认识http类型的请求url参考：**[认识url结构][url]**）

**响应（Response）**服务端响应客户端格式：

*  状态行
 *  响应头
 *  响应体

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NTRE5fVGVyZW5jZQ_size_16_color_FFFFFF_t_70 3][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NTRE5fVGVyZW5jZQ_size_16_color_FFFFFF_t_70 4][]

常见的http请求方法:GET POST PUT PATCH DELETE OPTIONS CONNECT HEAD TRACE

常见的http请求头：

<table style="margin-left:33.25pt;width:636px;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:163px;"> 请求头 </td> 
 <td style="vertical-align:top;width:471px;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:163px;"> Accept-Charset </td> 
 <td style="vertical-align:top;width:471px;"> 用于指定客户端接受的字符集 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:163px;"> Accept-Encoding </td> 
 <td style="vertical-align:top;width:471px;"> 用于指定可接受的内容编码 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:163px;"> Accept-Language </td> 
 <td style="vertical-align:top;width:471px;"> 用于指定一种自然语言 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:163px;"> Host </td> 
 <td style="vertical-align:top;width:471px;"> 用与指定被请求资源的Intent主机和端口号 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:163px;"> User-Agent </td> 
 <td style="vertical-align:top;width:471px;"> 客服端将他的操作系统、览器和其他属性告诉服务器 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:163px;"> Connection </td> 
 <td style="vertical-align:top;width:471px;"> 当前连接是否保持 </td> 
 </tr> 
 </tbody> 
</table>

常见的http响应头：

<table style="margin-left:33.25pt;width:640px;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:167px;"> 响应头 </td> 
 <td style="vertical-align:top;width:472px;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:167px;"> Server </td> 
 <td style="vertical-align:top;width:472px;"> 使用服务器名称 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:167px;"> Content-Type </td> 
 <td style="vertical-align:top;width:472px;"> 用来指明发送给接收者的实体正文的媒体类型 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:167px;"> Content-Encoding </td> 
 <td style="vertical-align:top;width:472px;"> 与请求报头Accept-Encoding对应，告诉浏览器服务端采用的是什么压缩编码 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:167px;"> Content-Language </td> 
 <td style="vertical-align:top;width:472px;"> 描述了资源所用的自然语言 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:167px;"> Content-Length </td> 
 <td style="vertical-align:top;width:472px;"> 指明实体正文的长度，用以字节方式存储的十进制数字来表示 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:167px;"> Keep-Alive </td> 
 <td style="vertical-align:top;width:472px;"> 保存连接的时间，如Keep-Alive：timeout=5 max=120 </td> 
 </tr> 
 </tbody> 
</table>

常见http状态码【重要】

<table style="margin-left:33.25pt;width:639px;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:166px;"> 状态码 </td> 
 <td style="vertical-align:top;width:472px;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:166px;"> 200 </td> 
 <td style="vertical-align:top;width:472px;"> 客户端请求成功，OK </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:166px;"> 302 </td> 
 <td style="vertical-align:top;width:472px;"> 临时跳转，跳转的地址通过Location指定 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:166px;"> 400 </td> 
 <td style="vertical-align:top;width:472px;"> 客户端请求有语法错误，不能被服务器识别 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:166px;"> 403 </td> 
 <td style="vertical-align:top;width:472px;"> 服务器收到请求，但拒绝提供服务 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:166px;"> 404 </td> 
 <td style="vertical-align:top;width:472px;"> 请求的资源不存在 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:166px;"> 500 </td> 
 <td style="vertical-align:top;width:472px;"> 服务器发生不可预期的错误 </td> 
 </tr> 
 </tbody> 
</table>

## 2.2 浏览器缓存机制 ##

浏览器缓存是一个比较复杂但是又比较重要的机制。按ctrl+f5组合键刷新页面，会重新请求服务器，即使是请求服务器，也有可能服务器的前端部署一个缓存服务器，为了让用户能够看到最新数据，必须通过HTTP来控制。在请求头加上Pragma:no-cache和Cache-Control:no-cache。

HTTP Head字段用于指定所有缓存机制在整个请求响应链中必须服从的指令。  
 HTTP Head字段的可选值：

Public：所有内容都被缓存，在响应头设置。

Private：内容只缓存到私有缓存中，在响应头设置。

No-cache: 所有内容不会被缓存

No-store:所有内容不会被缓存到缓存或Intent临时文件中

Must-revalidation/proxy-revalidation:如果缓存内容失败，请求必须发送到服务器进行重新验证

Max-age=xx:缓存内容在xxx秒后失效，这个只在HTTP1.1可用。

Expires：通常使用格式是：Expries：Sat,25 Feb 2012 12:22:17 GMT 后面跟着一个日期和时间，超过这个时间值，缓存的内容将失效。也就是浏览器在发出请求之前检查这个页面这个字段。

Last-Modified/Etag:

Last-Modified字段一般用于一个服务器上的资源最后修改时间，资源可以是静态（静态内容自动加上Last-Modified）或者动态的内容（Servlet提供一个getLastModified方法用于检查某个动态内容是否已经更新），通过这个最后修改时间可以判断当前请求的资源是否最新的。

浏览器再次请求子啊请求头增加一个If-Modified-Since: 字段，询问当前缓存的页面是否最新。如果最新，服务器返回304.

Etag这个字段让服务器给每个一个页面分配一个唯一编号，区分当前这个页面是否最新的。如果多台服务器，就比较难处理。

## 2.3 DNS域名解析 ##

DNS域名解析是为了将URL域名解析成IP地址

![/images/20220327/9b53646d6e1d4806a5d830b502728413.png][https_images2015.cnblogs.com_blog_179556_201704_179556-20170414141010783-1563339022.png]

1.浏览器缓存检查（本机），其中域名被缓存的时间限制可以通过TTL属性来限制。

2.操作系统缓存检查（本机）+hosts解析（本机）

操作系统域名解析过程，可自行设置ip：

Windows: C:/Windows/System32/drivers/etc/hosts

Linux: /etc/hosts

3.本地域名服务器解析（LDNS，当前地区的域名解析服务器）。

这个专门的域名解析服务器性能都会很好，它们一般都会缓存域名解析结果，大约80%的域名解析都到这里就已经完成了，所以LDNS主要承担了域名的解析工作。

4.根域名服务器解析（Root Server）

5.根域名服务器返回给本地域名服务器一个所查询域的**主域名服务器****(gTLD Server)****地址**，gTLD是国际顶级域名服务器， 如.com、.cn、.org等，全球只有13台左右。

6.本地域名服务器(Local DNS Server)根据gTLD服务器地址，请求gTLD解析。

7.接受请求的gTLD服务器查找并返回此域名对应的Name Server域名服务器的地址。（这个Name Server通常就是你注册的域名服务器，例如你在某个域名服务提供商申请的域名，那么这个域名解析任务就由这个域名提供商的服务器来完成。）

8.Name Server域名服务器会查询存储的**域名和****IP****的映射关系表**，正常情况下都根据域名得到目标IP记录，连同一个TTL值返回给DNS Server域名服务器。

9.返回该域名对应的IP和TTL值，Local DNS Server会缓存这个域名和IP的对应关系，缓存的时间由TTL值控制。

10.把解析的结果返回给用户，用户根据TTL值**缓存在本地系统缓存**中，域名解析过程结束。

通过上面的步骤，我们最后获取的是IP地址，也就是浏览器最后发起请求的时候是基于IP来和服务器做信息交互的。在实际的DNS解析过程中，可能还不止这10个步骤，如Name Server也可能有多级，或者有一个GTM来负载均衡控制，这都有可能会影响域名解析的过程。

根据以上解析流程，DNS解析整个过程，分为：**递归查询过程**和**迭代查询过程**。

![/images/20220327/1fa9c0eb4cfa4a2d8a6f2addb45b4825.png][https_images2015.cnblogs.com_blog_179556_201704_179556-20170414141052345-637005216.png]

## 2.4 TCP三次握手建立通信 ##

链接：[https://blog.csdn.net/CSDN\_Terence/article/details/77935297][https_blog.csdn.net_CSDN_Terence_article_details_77935297]

## 2.5 CDN工作机制 ##

CDN就是内容分部网络，是一种先进的流量分配网络；其目的提高用户访问网站的相应速度，有别于镜像，比镜像更智能。目前以静态数据为主（css,js，图片，视频，音频，静态页面等），用户从主服务器请求到动态内容，再从CDN上下载静态数据，从而加速网页数据内容的下载速度。

**CDN请求与处理流程**：向Local DNS 服务器发送请求，一般经过迭代解析后回到这个域名的注册服务器解析（每个公司都会有一台DNS解析服务器），这个**服务器会把请求重新****CNAME****解析到另一个域名，这个域名最终会指向****CDN****全局中的****DNS****负载均衡服务器**，再由这个GTM来最终分配是哪个地方的访问用户吗，返回给离这个用户最近的CDN节点。

**负载均衡**：就是对工作任务进行平衡。分摊到个多个操作单元上执行共同完成任务。可以提高服务器响应速度以及利用效率，避免软件或者硬件出现单点失效，解决网络拥塞问题，实现地理位置无关行，为用户提供一致的访问质量。

**三种负载均衡**架构分别是链路负载均衡、集群负载均衡、操作系统负载均衡

链路负载均衡：通过DNS解析到不同的IP，然后用户根据这个IP来访问不同的目标服务器

集群负载均衡：

硬件负载均衡：性能好，但是价格高，不可动态扩容，通常采用一主一备。

软件负载均衡：成本低，但是多次代理服务器，增加了网络延时。

操作系统负载均衡：就是利用操作系统级别的软中断和硬件中断来达到负载均衡，比如，可以通过设置多队列网卡实现。

其中，后两者使用的方式较多。

[20190404230149925.png]: https://img-blog.csdnimg.cn/20190404230149925.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NTRE5fVGVyZW5jZQ_size_16_color_FFFFFF_t_70]: /images/20220327/52e0cdd3e95146b49937227f08855638.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NTRE5fVGVyZW5jZQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20190404230457919.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NTRE5fVGVyZW5jZQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NTRE5fVGVyZW5jZQ_size_16_color_FFFFFF_t_70 2]: /images/20220327/e5905e1b71ba47d0b2ecf7a63127c3f4.png
[url]: https://blog.csdn.net/CSDN_Terence/article/details/81747523
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NTRE5fVGVyZW5jZQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20190404230643728.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NTRE5fVGVyZW5jZQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NTRE5fVGVyZW5jZQ_size_16_color_FFFFFF_t_70 4]: /images/20220327/28b5994e520644849f0ba831db732eaa.png
[https_images2015.cnblogs.com_blog_179556_201704_179556-20170414141010783-1563339022.png]: /images/20220327/9b53646d6e1d4806a5d830b502728413.png
[https_images2015.cnblogs.com_blog_179556_201704_179556-20170414141052345-637005216.png]: /images/20220327/1fa9c0eb4cfa4a2d8a6f2addb45b4825.png
[https_blog.csdn.net_CSDN_Terence_article_details_77935297]: https://blog.csdn.net/CSDN_Terence/article/details/77935297