tcp socket的发送与接收缓冲区

今天药忘吃喽~ 2022-12-05 10:14 240阅读 0赞

1) 应用程序可通过调用send(write, sendmsg等)利用tcp socket向网络发送应用数据，而tcp/ip协议栈再通过网络设备接口把已经组织成struct sk\_buff的应用数据(tcp数据报)真正发送到网络上，由于应用程序调用send的速度跟网络介质发送数据的速度存在差异，所以，一部分应用数据被组织成tcp数据报之后，会缓存在tcp socket的发送缓存队列中，等待网络空闲时再发送出去。同时，tcp协议要求对端在收到tcp数据报后，要对其序号进行ACK，只有当收到一个tcp 数据报的ACK之后，才可以把这个tcp数据报(以一个struct sk\_buff的形式存在)从socket的发送缓冲队列中清除。  
    tcp socket的发送缓冲区实际上是一个结构体struct sk\_buff的队列，我们可以把它称为发送缓冲队列，由结构体struct sock的成员sk\_write\_queue表示。sk\_write\_queue是一个结构体struct sk\_buff\_head类型，这是一个struct sk\_buff的双向链表，其定义如下：  
    struct sk\_buff\_head \{  
       struct sk\_buff \*next;     //后指针  
       struct sk\_buff \*prev;     //前指针  
       \_\_u32          qlen;      //队列长度（即含有几个struct sk\_buff)  
       spinlock\_t     lock;      //链表锁  
    \};  
   内核代码中，先在这个队列中创建足够存放数据的struct sk\_buff，然后向队列存入应用数据。  
    结构体struct sock的成员sk\_wmem\_queued表示发送缓冲队列中已分配的字节数，一般来说，分配一个struct sk\_buff是用于存放一个tcp数据报，其分配字节数应该是MSS+协议首部长度。在我的实验环境中，MSS值是1448，协议首部取最大长度 MAX\_TCP\_HEADER，在我的实验环境中为224。经数据对齐处理后，最后struct sk\_buff的truesize为1956。也就是队列中每分配一个struct sk\_buff，成员sk\_wmem\_queue的值就增加1956。  
    struct sock的成员sk\_forward\_alloc是表示预分配长度。当我们第一次要为发送缓冲队列分配一个struct sk\_buff时，我们并不是直接分配需要的内存大小，而是会以内存页为单位进行的预分配。  
   tcp协议分配struct sk\_buff的函数是sk\_stream\_alloc\_pskb。它首先根据传入的参数指定的大小在内存中分配一个struct sk\_buff，如果成功，sk\_forward\_alloc取该大小值，并向上取整到页(4096字节)的整数倍。并累加到struct sock的成员sk\_prot，也即表示tcp协议的结构体mytcp\_prot的成员memory\_allocated中，该成员是一个指针，指向变量 tcp\_memory\_allocated，它表示的是当前整个TCP协议当前为缓冲区所分配的内存(包括读缓冲队列)  
   当把这个新分配成功的struct sk\_buff放入到缓冲队列sk\_write\_queue后，从sk\_forward\_alloc中减去该sk\_buff的truesize值。第二次分配struct sk\_buff时，只要再从sk\_forward\_alloc中减去新的sk\_buff的truesize即可，如果sk\_forward\_alloc已经小于当前的truesize，则将其再加上一个页的整数倍值，并累加入tcp\_memory\_allocated。  
   也就是说，通过sk\_forward\_alloc使全局变量tcp\_memory\_allocated保存当前tcp协议总的缓冲区分配内存的大小,并且该大小是页边界对齐的。

(2) 前面讲到struct sock的成员sk\_forward\_alloc表示预分配内存大小，用于向全局变量mytcp\_memory\_allocated累加当前已分配的整个 TCP协议的缓冲区大小。之所以要累加这个值，是为了对tcp协议总的可用缓冲区大小作限制。表示TCP协议的结构体mytcp\_prot还有几个成员与缓冲区相关。  
   mysysctl\_tcp\_mem是一个数组，由mytcp\_prot的成员sysctl\_mem指向，数组共有三个元素，mysysctl\_tcp\_mem\[0\]表示对缓冲区总的可用大小的最低限制，当前总共分配的缓冲区大小低于这个值，则没有问题，分配成功。 mysysctl\_tcp\_mem\[2\]表示对缓冲区可用大小的最高硬性限制，一旦总分配的缓冲区大小超出这个值，我们只好把tcp  
socket 的发送缓冲区的预设大小sk\_sndbuf减小为已分配缓冲队列大小的一半，但不能小于SOCK\_MIN\_SNDBUF(2K)，但保证这一次的分配成功。mysysctl\_tcp\_mem\[1\]介于前面两个值的中间，这是一个警告值，一旦超出这个值，进入警告状态，这个状态下，根据调用参数来决定此次分配是否成功。  
   这三个值的大小是根据所在系统的内存大小，在初始化时决定的，在我的实验环境中，内存大小为256M，这三个值分配是：96K，128K，192K。它们可以通过/proc文件系统，在/proc/sys/net/ipv4/tcp\_mem中进行修改。当然，除非特别需要，一般无需改动这些缺省值。  
   mysysctl\_tcp\_wmem也是一个同样结构的数组，表示发送缓冲区的大小限制，由mytcp\_prot的成员sysctl\_wmem指向，其缺省值分别是4K，16K，128K。可以通过/proc文件系统，在/proc/sys/net/ipv4/tcp\_wmem中进行修改。struct sock的成员sk\_sndbuf的值是真正的发送缓冲队列的预设大小，其初始值取中间一个16K。在tcp数据报的发送过程中，一旦 sk\_wmem\_queued超过sk\_sndbuf的值，则发送停止，等待发送缓冲区可用。因为有可能一批已发送出去的数据还没有收到ACK，同时，缓冲队列中的数据也可全部发出去，已达到清空缓冲队列的目的，所以，只要在网络不是很差的情况下(差到没有办法收到ACK)，这个等待在一段时间后会成功的。  
   全局变量mytcp\_memory\_pressure是一个标志，在tcp缓冲大小进入警告状态时，它置1，否则置0。

(3) mytcp\_sockets\_allocated是到目前为止，整个tcp协议中创建的socket的个数，由mytcp\_prot的成员 sockets\_allocated指向。可以在/proc/net/sockstat文件中查看，这只是一个供统计查看用的数据，没有任何实际的限制作用。  
   mytcp\_orphan\_count表示整个tcp协议中待销毁的socket的个数(已无用的socket)，由mytcp\_prot的成员orphan\_count指向，也可以在/proc/net/sockstat文件中查看。  
   mysysctl\_tcp\_rmem是跟mysysctl\_tcp\_wmem相同结构的数组，表示接收缓冲区的大小限制，由mytcp\_prot的成员 sysctl\_rmem指向，其缺省值分别是4096bytes，87380bytes，174760bytes。它们可以通过/proc文件系统，在 /proc/sys/net/ipv4/tcp\_rmem中进行修改。struct sock的成员sk\_rcvbuf表示接收缓冲队列的大小，其初始值取mysysctl\_tcp\_rmem\[1\],成员sk\_receive\_queue 是接收缓冲队列，结构跟sk\_write\_queue相同。  
    tcp socket的发送缓冲队列跟接收缓冲队列的大小既可以通过/proc文件系统进行修改，也可以通过TCP选项操作进行修改。套接字级别上的选项 SO\_RCVBUF可用于获取和修改接收缓冲队列的大小(即strcut sock->sk\_rcvbuf的值)，比如下列的代码可用于获取当前系统的接收缓冲队列大小：  
    int rcvbuf\_len;  
    int len = sizeof(rcvbuf\_len);  
    if( getsockopt( fd, SOL\_SOCKET, SO\_RCVBUF, (void \*)&rcvbuf\_len, &len ) < 0 )\{  
       perror("getsockopt: ");  
       return -1;  
    \}  
    printf("the recevice buf len: %d\\n", rcvbuf\_len );  
   而套接字级别上的选项SO\_SNDBUF则用于获取和修改发送缓冲队列的大小(即struct sock->sk\_sndbuf的值)，代码同上，只需改SO\_RCVBUF为SO\_SNDBUF即可。  
   获取发送和接收缓冲区的大小相对简单一些，而设置的操作在内核中动作会稍微复杂一些，另外，在接口上也会有所差异，即由setsockopt传入的表示缓冲区大小的参数是实际大小的1/2，即，如果想要设发送缓冲区的大小为20K，则需要这样调用setsockopt：  
    int rcvbuf\_len = 10 \* 1024;  //实际缓冲区大小的一半。  
    int len = sizeof(rcvbuf\_len);  
    if( setsockopt( fd, SOL\_SOCKET, SO\_SNDBUF, (void \*)&rcvbuf\_len, len ) < 0 )\{  
       perror("getsockopt: ");  
       return -1;  
    \}  
   在内核中，首先内核要判断新设置的值是否超过上限，若超过，则取上限为新值，发送和接收缓冲区大小的上限值分别为sysctl\_wmem\_max和 sysctl\_rmem\_max的2倍。这两个全局变量的值是相等的，都为(sizeof(struct sk\_buff) + 256) \* 256，大概为64K负载数据，由于struct sk\_buff的影响，实际发送和接收缓冲区的大小最大都可设到210K左右。它们的下限是2K,即缓冲区大小不能低于2K。  
   另外，SO\_SNDBUF和SO\_RCVBUF有一个特殊的版本：SO\_SNDBUFFORCE和SO\_RCVBUFFORCE，它们不受发送和接收缓冲区大小上限的限制，可设置不小于2K的任意缓冲区大小。(完)

补充内容：

如果write的字节数>socket发送缓冲区，tcp做何处理？  
如果是非阻塞模式,是在设定的发送时间范围内能发多少发多少.  
在实际应用中,情况如下:  
在非阻塞模式下,一般是用setsockopt函数设置发送阻塞的时间,然后调用send()发送数据,当超出这个时间,send函数会返回已发送的数据大小, 但是请注意此时缓存中可能还有些数据没有发送到网络上.  
那么当在应用层再一次调用send函数时,就会报告经典的错误:  
Resource temporarily unavailable  
那么如果是阻塞情况,send函数会一直等到所有应用层的数据全部发送完毕再返回...  
  
另外,如果是用UDP作为发送端,那么都不需要考虑阻塞不阻塞的情况,会报告错误:  
Message too long