TCP/IP网络协议介绍及原理分析

小鱼儿 2024-03-26 12:47 77阅读 0赞

一.应用层协议

对于应用层而言，协议是开发者自己进行定义的，开发者根据自定义的格式规范对数据进行编码和解析。

但是从原理上进行分析，其核心主要包括两点内容：

①确定客户端和服务端交互的内容（协议的内容）

②确定传输数据的组织方式

我们使用当下主流的应用层协议进行举例说明：

①HTTP协议

类似于百度的网址，前域名中会包括http的固定格式

[https://www.baidu.com/?tn=44004473\_52\_oem\_dg][https_www.baidu.com_tn_44004473_52_oem_dg]

②XML

![d826755e879cb3e707811d5ab66acfab.png][]

我们通过观察xml的文件格式,我们可以发现：其可读性较高，但是我们在传输数据时，其内容中伴随的各种数据头，在网络传输过程中比较复杂，数据在网络传输过程相对比较冗余，效率较低

③JSON

![b0b9c4bcb7cf0ceae3b4a7ce1ad26e32.png][]

JSON相对于xml对数据头信息做了一定的优化，其相对xml文件内容更美观，可读性高，扩展性也相对较高，数据头信息简化很多，传输效率也较高。

④其他协议

Google：protobuf协议

IBM：MQTT协议，消息队列遥测传输，针对物联网设计的协议：消息以字节的格式传输，不同字节大小的消息代表着不同的含义，省略了多余的字符，大量减少了报文的长度，大幅减少了网络传输中宽带的长度，但是编码和解析的过程相对比较复杂。

传输层协议：**由操作系统实现并给上面的应用层提供API接口**

二.UDP协议

我们将从UDP协议的几个特点对其进行讲述：

①无连接

按照UDP协议进行数据的传输，只要直到目的ip和端口，就能进行数据的传输。就类似于发短信的过程我们在发短信时，不需要事先与对方进行连接

②不可靠传输

类似于我们发短信的过程，我们负责发短信，并不负责短信是否被接收方收到，也不对数据的正确性进行校验，如果数据错误UDP协议层也不会给应用层返回任何错误信息

③以数据报形式进行数据的传输

应用层传输给UDP多大的报文，UDP就必须按照多大的报文进行完整传输，不能对报文内容进行分批循环传输

④大小受限

UDP首部有一个16位的最大长度限制，也就是说，一次UDP传输，只能传输64kb的数据（包含UDP首部）

⑤缓冲区

UDP没有发送缓存区，只有接收缓存区

发送的数据会直接交给内核，然后由内核传输给网络层进行下一步的数据传输。

虽然UDP有接受数据的缓存区，但是缓存区有一定的范围大小，一旦缓存区满了，再发送的数据将会被丢失；同时，缓存区无法保证发送的UDP报和接收到的UDP报一致。

UDP的socket既可以发送数据，也能接收数据，这个概念叫做双全工。

UDP协议的格式：

![2ec2f7f3bb691b89d7fc1c8306d143cb.png][]

![0f9dbd0eea8d962cdfc8e1279ef67317.png][]

65535个字节长度的数据也就是

![b7cfa395afdc03e99b63adff7dd4eba3.png][]

所以UDP每次最多传输64kb的数据

我们对16位UDP检验和进行一定的说明：

数据被转化为字节之后会按照自己的方式进行相加，在数据发出时将结果进行保存，在接收端时数据会重新按照同样的方式进行相加，如果两次校验和数据相同，那么数据是正确的，如果两次校验和不相同，那么说明数据在传输过程中被篡改了，这种数据校验的方式是CRC循环冗余校验

![1d583b985f822c675ac7207b25ee7a13.png][]

三.TCP协议

![c68abbc36bde8e00bf943d89fa2f2f88.png][]

3.1TCP的可靠传输

①确认应答

我们思考这样一个场景：当我们进行聊天时，我们通过对方的回应来确定对方收到了我们发送的消息

![3759f0a74bda572d2eed11a700a56bfa.png][]

如果是在一问一答的情境下，这种回应并不会产生问题，但是如果是在网络乱序的情况下，我们发送了两条消息，对方回应了我们两条消息，我们如何区分对方的回应是针对那条消息的呢？

其实有一个相对简单的方法，对请求和回应都加上序号：

![abbbb406cb286cd2a76ac27a939fc596.png][]

那么在网络传输中，TCP又是如何保证大量数据的正确传输呢？

![48bce0b4c027531c5e9b3b7c1defb62b.png][]

TCP是按照字节流的方式进行数据的传输，也就是说，任何数据在网络传输过程中都会被转化为字节，TCP通过给每个字节添加序列号来达到多条数据的正确传输，具体如下：

![9d6f1547090af44868fe229bad2944f7.png][]

比如在第一次传输过程中，请求方发送了1-1000序号的字节流（在请求时，将SYN设置为1，将请求的数据以字节编号的形式存入32位序号中），然后接收方就返回1001的序号，用来提示请求方下次数据的发送从序号为1001的字节开始，如此反复，直至通信结束。

而这些标识数据的方式，就保存在32位序号和确认序号中。

![c6d98d6d9c2ae61a5c0c1760499c8847.png][]

②超时重传

数据在网络传输过程中会经过很多的网络设备，但是网络设备的储存容量都是一定的，一旦某台网络设备超过了其能储存数据容量的极限，就会将新接收的数据进行丢弃，而对于数据接收方而言，在一定时间内没有接收到请求的数据，我们称之为数据传输超时。

数据传输超时主要包括以下情况：

![ceca8b2ba8be74559fc57c5250e46574.png][]

![68f43c2c80dd37e15c6a36d41ec51f91.png][]

TCP超时重传机制就是为了解决数据丢失问题：对于数据的发送方而言，如果发送了数据，在请求时间内没有接收到回应，就会重新再发送一遍数据，但是对于接收方而言，如果是因为在发送回应数据时出现了丢包问题，那么其接收数据是不是就重复了呢？

事实并非如此，对于数据接收方而言，其存在一个数据缓存区（我们可以将其理解为一个阻塞队列），数据放入时我们首先会检查缓存区中是否存在这些数据，如果存在就将新数据丢弃，不存在则加入，这样就保证了socket api拿到的为不重复的数据。

那么超时时间又该如何确定呢？

![6d8a46868603a2bd7d383cb5bd490342.png][]

③连接管理

目的：在发送方和请求方初次建立连接的时候，保证双方具有收发数据的能力，换句话说，要通过连接管理来确保网络数据传输的稳定性和有效性

①三次握手

![6271d77efe0c19306fcfc353a3f9a120.png][]

![5658900d621650a3cc69bf006f204604.png][]

三次握手的过程可以这样理解：发送方发送数据给接收方，接收方受到数据给出回应，同时接收方也主动发送数据给发送方，最后发送方回应接收方的请求（我们通常把接收方的第一次的回应主动发送请求理解为一次数据传输，所以称为三次握手）

三次握手的目的是为了检测网络进行数据传输的可靠性，如果三次握手没有满足，那么双方需要重新协商一些其他信息。

![ab106ae60672a5e42b75f812812cdc90.png][]

当发送方给接收方发送数据时，syn置为1，当接收方发送回应给发送方时，ack置为1，当两者同时置为1时我们称之为同步请求

在三次握手时状态的变化:

![440d60cbc7a383a79db6db66d875439a.png][]

总结：

![5182674f72aa6f89d317104141e1baaa.png][]

②四次挥手

保证发送方和接收方进行有效的断开连接

![705f159a5ee2170fbdad2110048688c3.png][]

发送方发起断开连接请求，接收方回应请求，同时接收方也发起断开请求，最后发送方给出ACK回应

![b9ae7923aab11061323cfa8f49126d91.png][]

四次挥手服务端状态分析：

CLOSE\_WAIT:四次挥手挥了了两次之后出现的状态，这个状态就是在等待代码中调用socket.close()方法来进行后续的挥手过程~正常情况下，一个服务器上不应该存在大量的CLOSE\_WAIT。如果存在，说明大概率是代码存在bug，close没有被执行到

TIME\_WAIT:谁主动发起FIN，谁就进入TIME\_WAIT.起到的效果就是给最后一次ACK提供重传机会，表面上看起来A发送完ACK之后就没有A的事了，按理说A此时就应该销毁连接释放资源了，但是并没有直接释放，而是会进入TIME\_WAIT状态等待一段时间，一段时间之后再进行释放，目的是，怕最后一个ACK丢包，如果最后一个ACK丢包了就意味着B会重传FIN，这时则需要发起者重新回应ACK

总结:

![bc7dfd11b820a02d87739f36dd3ed3a5.png][]

**TIME\_WAIT应该持续多久：2\*MSL**

为什么呢？

TIME\_WAIT状态是为了防止最后一个ACK在传输过程中的丢包问题，正常接收端接收到ACK的时间是MSL，但是由于在这个时间内没有收到ACK,那么接收端则重新发起FIN请求，这时FIN传输到发送端也需要FIN的时间，所以为了避免ACK的丢包问题，TIME\_WAIT时间应该存在2\*MSL

四.TCP协议实现功能的完善

①滑动窗口

在数据传输过程中，正常我们所理解的是请求方传输一条数据，并从响应方获取响应，在等待响应的过程中，我们无法去执行有关该条数据有关的任务，但在真实的网络环境中数据是进行批量发送和批量响应的。

为了提高网络传输的效率（实现数据的批量请求和响应），滑动窗口这一数据结构应运而生。

通过滑动窗口，我们一次可以传输很多组数据，传输数据的最大编号同时也会被记录下来，当接收到ACK响应之后，继续从最大数据编号开始传输下一组数据。

![c589536627ed77298463525cc9071eef.png][]

通常而言，我们发送的数据会被维护在一种数据结构中，当接收到ACK回复之后，将这组数据从数据结构中删除，同时新的一组传输数据会加入到数据结构，形成类似滑动的效果，因此成为滑动窗口。

针对滑动窗口可能会出现的两种异常：

1.  ACK丢失：请求数据发送给服务端后，服务端也发出了响应，但是传输过程中ACK响应丢失，这种情况如何解决呢？

解决措施如下：在数据传输的规则中，前面数据没有发送ACK之前（接收到数据并给出响应），后面接收的数据不会给出ACK响应，因此即使前面的数据中ACK丢失，但是获得了后面的响应，也表明前面的数据也被成功接收了，异常消除。

![72a3dc934e8fa06e0ab9c5e67eab3851.png][]

1.  发送方数据丢失

![ee84067f023f2074908c77244ceded7b.png][]

如图所示，当接收到1-1000的数据之后，1001-2000的数据在传输过程中丢失了，无论你后面其他数据怎样传输，接收端返回的ACK请求都是1001（请求编号为1001-2000的数据），此时后面的传输数据会被存放到缓冲区中，数据发送方接收到三次重复的ACK请求之后，会对缺失的部分数据进行重发，而在缓冲区的数据也按照正常的逻辑进行拼装。

②流量控制：既然存在了滑动窗口来提高数据传输的效率，那么数据数据的大小真的能让发送方毫无限制的进行控制吗？

流量控制就是来限制发发送方滑动窗口的大小，通过接收方返回给发送方的ACK,对发送方滑动窗口的大小进行反制。

![733d5354066cfbbc9cef7e1b90d098dc.png][]

![a1039f338fe29b8b26f544b875a25342.png][]

![5dd26dce881fa3c2551258f429d88ace.png][]

![8ae648b74f54d924f0af5ad63fed4030.png][]

③拥塞控制

根据网络的通畅程度来控制发送窗口的大小

![d0d365ce2d48ebddbcb492cf50d9347d.png][]

其拥塞控制的步骤如下：

1.  在程序刚启动时将容量设置的很小，比如1，如果能够接收到接收方的ACK，则证明数据传输没有问题，后面传输时不断加大滑动窗口的容量

1.  在达到阈值之前，滑动窗口的增量是以指数级别增加的

1.  达到一定的阈值之后以每次加1的方式增加（线性增加）

1.  继续增大的过程中，增大到一定程度发现数据丢包严重，这时说明发生了网络阻塞，此时将容量重新设置为1，阈值也发生变化，此时的阈值为发生网络阻塞的值的一半

1.  不断重复1到4的步骤

1.  整个网络通信的过程中，窗口大小，拥塞的大小都是动态变化的。

![245171979383227374824f7d1269fa87.png][]

综上所述，流量控制的是整个滑动窗口的大小，拥塞控制的也是滑动窗口的大小，那么滑动窗口最后以哪个为准呢？

应该是取两个的最小值。

④延迟应答

![61add28c9cae07c17ce51284185b77ca.png][]

对于请求端发送的数据，接收方并不是一条一条的回答，通常会采用两种策略：①每次回应ACK相隔一定的条数，比如每两组请求消息回应一组ACK.....

②每隔一定的时间回应一次ACK

如果按照上面的策略，如果是3组请求数据，可以采用每隔一定的时间回应一次ACK

具体的数量和超时时间，不同的系统有所差异，一般是N（请求数据发送的组数）取2，超时时间为200ms

![9809f171e4985750005816fa0bd556f4.png][]

⑤捎带应答

![c22296de8bce43704da3e5e5ca7d60d6.png][]

⑥面向字节流

![928d2f8f0da905db7af586a5e8c94874.png][]

![57882bd331ae3810cf93a73ea86516a1.png][]

⑦TCP异常情况：

1.  程序崩溃：操作系统回收进程资源，其中包括文件描述符表，主要是调用socket的close()方法，之后触发FIN操作，进而开始进行四次挥手，这和普通的四次挥手没有区别

1.  正常关机：系统强制关闭所有进程，系统释放资源，执行流程和程序崩溃类似。

1.  主机掉电：主要分成了两种情况：

①接收方掉电

发送方并不知道接收方掉电，继续发送SYN请求，同时等待ACK响应，但是没有收到ACK响应，这时候触发超时重传，在多次触发超时重传之后没有收到ACK响应，这时请求方就尝试连接重置（RST标志位），连接重置失败，此时就断开连接。

![e999df39108955c0c4961b20e72ae9ca.png][]

②发送方掉电

在一般的长连接中，客户端与服务端会维护一个心跳包（客户端每隔一秒给服务端发送数据，证明自己人仍然存活），如果10s服务端仍然没有收到客户端发来的数据，这时候就认为客户端挂了，此时断开连接，等待客户端回复后，重连即可

1.  断网

与主机掉电情况类似，只不过主机仍然正常运行

[https_www.baidu.com_tn_44004473_52_oem_dg]: https://www.baidu.com/?tn=44004473_52_oem_dg
[d826755e879cb3e707811d5ab66acfab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/0bd962e17534463d857daec0d1b7fb26.png
[b0b9c4bcb7cf0ceae3b4a7ce1ad26e32.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/844f30ed9fc6496bba68de46500ab9be.png
[2ec2f7f3bb691b89d7fc1c8306d143cb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/f67c872113b943e2855557f37e4de745.png
[0f9dbd0eea8d962cdfc8e1279ef67317.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/e8956254ebb34050b3e32bb5af05cfcd.png
[b7cfa395afdc03e99b63adff7dd4eba3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/96ec22f712ac4b2390df83a525628821.png
[1d583b985f822c675ac7207b25ee7a13.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/4cdb8c8e57a94b4c98186188a25b98fa.png
[c68abbc36bde8e00bf943d89fa2f2f88.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/49c8b7b3b92344bdac12b6e4f80f8af9.png
[3759f0a74bda572d2eed11a700a56bfa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/6b18b93418044b0eaf7bde0634b30a5b.png
[abbbb406cb286cd2a76ac27a939fc596.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/5bb0c5e575694819bc807dc0a731b843.png
[48bce0b4c027531c5e9b3b7c1defb62b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/bda9061adbf44dadae3b8e6f3193f27b.png
[9d6f1547090af44868fe229bad2944f7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/488600158d2245a3855fb8f07c3767cb.png
[c6d98d6d9c2ae61a5c0c1760499c8847.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/729508b5573c401bbaa605394facd9fc.png
[ceca8b2ba8be74559fc57c5250e46574.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/edaef95483224ebb99e4e31063711c9c.png
[68f43c2c80dd37e15c6a36d41ec51f91.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/314822cc6b4e4b03bd3c3366c09f9a16.png
[6d8a46868603a2bd7d383cb5bd490342.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/d4aac5f252df49e7b1ac285d0b6cc287.png
[6271d77efe0c19306fcfc353a3f9a120.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/b99908fc128b4a06b8be8a8a139bd493.png
[5658900d621650a3cc69bf006f204604.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/949b36b1de8c47c3b4823d7caad53449.png
[ab106ae60672a5e42b75f812812cdc90.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/072d00bd89a44a929434e86491ab9794.png
[440d60cbc7a383a79db6db66d875439a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/c8c66b94ecd54060869a102fe344fc25.png
[5182674f72aa6f89d317104141e1baaa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/52924be7273040cb9a8100ce01c5ec3a.png
[705f159a5ee2170fbdad2110048688c3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/16ad4b2c681f4ee0bbe516110e85bcb2.png
[b9ae7923aab11061323cfa8f49126d91.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/2bca48a3f6fa4d09ba792e03369ecc09.png
[bc7dfd11b820a02d87739f36dd3ed3a5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/39a038b0d7034bd7884f233dda2bed81.png
[c589536627ed77298463525cc9071eef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/311a0e7615b34b14a486639ade57b6c2.png
[72a3dc934e8fa06e0ab9c5e67eab3851.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/0fe3064a70e34a0fb533360539fb58d2.png
[ee84067f023f2074908c77244ceded7b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/d5e5413b5a324892bc6447c687f63dd1.png
[733d5354066cfbbc9cef7e1b90d098dc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/3c7211518c61476382c1b041b1b81590.png
[a1039f338fe29b8b26f544b875a25342.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/2fd2e6cd2d424a4d801f562747044a6b.png
[5dd26dce881fa3c2551258f429d88ace.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/741e1d1007444212acf22d0ef471b710.png
[8ae648b74f54d924f0af5ad63fed4030.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/78e0327489114c5ab234289ccf5adaf0.png
[d0d365ce2d48ebddbcb492cf50d9347d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/94dbb09be54d4a2483572b34f18e3c02.png
[245171979383227374824f7d1269fa87.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/885301169cd94af48e26e61df9718ee7.png
[61add28c9cae07c17ce51284185b77ca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/fd9a8adb024b4c81803114d4e6568299.png
[9809f171e4985750005816fa0bd556f4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/8f40f1534d9d4c87b37c7aa90331f608.png
[c22296de8bce43704da3e5e5ca7d60d6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/16b36bd6e4714ffdaf9f4d1a27c0da73.png
[928d2f8f0da905db7af586a5e8c94874.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/120eb31c8f6b4997b6aade1b4ddf8821.png
[57882bd331ae3810cf93a73ea86516a1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/b5dda17eb8b0406a9b5e86f4c1d484f3.png
[e999df39108955c0c4961b20e72ae9ca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/5b193378c5184fb9bc886c7b1f6fd75a.png