【Python】网络编程--粘包问题--终极版

你的名字 2023-10-04 09:07 21阅读 0赞

粘包问题开始先来一个知识点回顾：

执行命令的话，肯定是用我们学过的subprocess模块啦，但注意注意注意：

res = subprocess.Popen(cmd.decode('utf-8'),shell=True,stderr=subprocess.PIPE,stdout=subprocess.PIPE)

命令结果的编码是以当前所在的系统为准的，如果是windows，那么res.stdout.read()读出的就是GBK编码的，在接收端需要用GBK解码，且只能从管道里读一次结果

由代码引申出下面的问题：

**服务端–简单版：**

import socket
    
    # 1:买手机
    phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    print(phone)
    
    # 2:绑定手机卡
    phone.bind(('127.0.0.1',8081))#0-65535:0-1024给操作系统使用
    
    
    # 3：开机,5:可以预览的网页数
    phone.listen(5)
    
    # 4：等电话连接
    print('starting...')
    conn,client_addr=phone.accept()
    
    
    # 5:收，发消息
    data=conn.recv(1024)#1:单位：bytes 2:1024代表最大接收1024个bytes
    print('客户端的数据',data)
    
    conn.send(data.upper())
    
    # 6:挂电话
    conn.close()
    
    # 7:关机
    phone.close()

**客户端–简单版：**

import socket
    
    # 1:买手机
    phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    print(phone)
    
    # 2:拨号
    phone.connect((' 127.0.0.1',8081))
    
    # 3:发，收消息
    phone.send('hello'.encode('UTF-8'))
    data =phone.recv(1024)
    print(data)
    
    # 4:关闭
    phone.close()

## 粘包： ##

### **什么是粘包？** ###

在执行命令时，你并不知道用户输入的信息有多大，而你的系统一开始是固定大小的，你输入的数据较小可能你就已经拿到了你想要得到的数据了，此时心情愉悦呀，想着我已经掌握网络编程基础了真不错，但是别高兴的太早：

此时执行一个结果比较长的命令，比如top -bn 1， 你发现依然可以拿到结果，但如果再执行一条df -h的话，就发现，你拿到并不是df命令的结果，而是上一条top命令的部分结果

因为，top命令的结果比较长，但客户端只recv(1024), 可结果比1024长呀，那怎么办，只好在服务器端的IO缓冲区里把客户端还没收走的暂时存下来，等客户端下次再来收，所以当客户端第2次调用recv(1024)就会首先把上次没收完的数据先收下来，再收df命令的结果。

那遇这类问题，有人就想着，有些同学说，直接把recv(1024)改大不就好了，改成5000\\10000或whatever. 可我的亲，这么干的话，并不能解决实际问题，因为你不可能提前知道对方返回的结果数据大下，无论你改成多大，对方的结果都有可能比你设置的大，另外这个recv并不是真的可以随便改特别大的，有关部门建议的不要超过8192，再大反而会出现影响收发速度和不稳定的情况

**这个现象叫做粘包，就是指两次结果粘到一起了。它的发生主要是因为socket缓冲区导致的**

### **粘包问题只存在于TCP中，Not UDP** ###

发送端可以是一K一K地发送数据，而接收端的应用程序可以两K两K地提走数据，当然也有可能一次提走3K或6K数据，或者一次只提走几个字节的数据，也就是说，应用程序所看到的数据是一个整体，或说是一个流（stream），一条消息有多少字节对应用程序是不可见的，因此TCP协议是面向流的协议，这也是容易出现粘包问题的原因。而UDP是面向消息的协议，每个UDP段都是一条消息，应用程序必须以消息为单位提取数据，不能一次提取任意字节的数据，这一点和TCP是很不同的。怎样定义消息呢？可以认为对方一次性write/send的数据为一个消息，需要明白的是当对方send一条信息的时候，无论底层怎样分段分片，TCP协议层会把构成整条消息的数据段排序完成后才呈现在内核缓冲区。

例如基于tcp的套接字客户端往服务端上传文件，发送时文件内容是按照一段一段的字节流发送的，在接收方看了，根本不知道该文件的字节流从何处开始，在何处结束

所谓粘包问题主要还是因为接收方不知道消息之间的界限，不知道一次性提取多少字节的数据所造成的。

### 粘包问题–终极版 ###

代码实现：  
客户端，client

import socket
    import struct
    import json
    
    phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    
    phone.connect(('127.0.0.1',9909))
    
    while True:
        #1、发命令
        cmd=input('>>: ').strip() #ls /etc
        if not cmd:continue
        phone.send(cmd.encode('utf-8'))
    
        #2、拿命令的结果，并打印
    
        #第一步：先收报头的长度
        obj=phone.recv(4)
        header_size=struct.unpack('i',obj)[0]
    
        #第二步：再收报头
        header_bytes=phone.recv(header_size)
    
        #第三步：从报头中解析出对真实数据的描述信息
        header_json=header_bytes.decode('utf-8')
        header_dic=json.loads(header_json)
        print(header_dic)
        total_size=header_dic['total_size']
    
        #第四步：接收真实的数据
        recv_size=0
        recv_data=b''
        while recv_size < total_size:
            res=phone.recv(1024) #1024是一个坑
            recv_data+=res
            recv_size+=len(res)
    
        print(recv_data.decode('utf-8'))
    
    phone.close()

**注意：如果是Windows系统需要把客户端倒数第二行的编码格式换为GBK,因为Windows系统不兼容，否则会错，如果是Mac系统其他系统的就不需要改**

服务端:

import socket
    import subprocess
    import struct
    import json
    
    
    phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    phone.bind(('127.0.0.1',9908))
    
    phone.listen(5)
    
    print('starting...')
    while True:
        conn,client_addr=phone.accept()
        print(client_addr)
    
        while True:#通信循环
            try:
                # 1：收命令
                cmd=conn.recv(8096)
                if not cmd:break#适用于Linux操作系统
    
                # 2：执行命令，拿到结果
                obj=subprocess.Popen(cmd.decode('utf-8'), shell=True,
                                       stdout=subprocess.PIPE,
                                       stderr=subprocess.PIPE)
    
                stdout=obj.stdout.read()
                stderr=obj.stderr.read()
    
    
                # 3:把命令的结果返回给客户端
                # 第一步:制作固定长度的报头
                header_dic={
        
                    'filename':'a.txt',
                    'md5':'xxxdxxxx',
                    'total_size':len(stdout)+len(stderr)
                }
    
                header_json=json.dumps(header_dic)
                header_bytes=header_json.encode('utf-8')
    
                # 第二步：先发送报头的长度
                conn.send(struct.pack('i',len(header_bytes)))
    
                # 第三步：再发报文
                conn.send(header_bytes)
    
                # 第四步：再发送真实的数据
                conn.send(stdout)
                conn.send(stderr)
    
    
            except  ConnectionResetError:
                break
        conn.close()
    
    
    phone.close()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjU2MDc3_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjU2MDc3_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjU2MDc3_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210323122501436.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjU2MDc3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjU2MDc3_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210323122511278.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjU2MDc3,size_16,color_FFFFFF,t_70