根据源码，模拟实现 RabbitMQ - 网络通讯设计，自定义应用层协议，实现 BrokerServer (8)

梦里梦外; 2023-10-15 08:56 14阅读 0赞

**目录**

一、网络通讯协议设计

1.1、交互模型

1.2、自定义应用层协议

1.2.1、请求和响应格式约定

编辑

1.2.2、参数说明

1.2.3、具体例子

1.2.4、特殊栗子

1.3、实现 BrokerServer

1.3.1、属性和构造

1.3.2、启动 BrokerServer

1.3.3、停止 BrokerServer

1.3.4、处理每一个客户端连接

1.3.5、读取请求和写响应

1.3.6、根据请求计算响应

1.3.7、清除 channel

--------------------

# 一、网络通讯协议设计 #

--------------------

## 1.1、交互模型 ##

目前我们需要考虑的交互模型：生产者消费者都是客户端，都需要通过 网络 和 BrokerServer 进行通信

![df3fdafc2cef49f0a66e8e22920527fa.png][]

此处我们使⽤ TCP 协议, 来作为通信的底层协议. 同时在这个基础上⾃定义应⽤层协议, 完成客⼾端对服 务器这边功能的远程调⽤.

**TCP 是有连接的（Connection），创建 / 断开 TCP 连接成本还是挺高的（需要三次握手啥的），那么这里就是用 Channel 来表示 Connection 内部的 “逻辑上” 的连接，使得 “一个管道，多个网线传输” 的效果，使得 TCP连接得到复用**

> Ps：要远程调用的功能就是在 VirtualHost 中 public 的方法.

## 1.2、自定义应用层协议 ##

### 1.2.1、请求和响应格式约定 ###

之前我们定义的 Message 对象，本体就是二进制的数据，因此这里不方便使用 JSON 这种文本协议 / 格式.

**因此这里使用 二进制 的方式来设定协议.**

请求如下：

/**
     * 表示一个网络通信中的请求对象，按照自定义协议的格式展开
     */
    public class Request {
    
        private int type;
        private int length;
        private byte[] payload;
    
        public int getType() {
            return type;
        }
    
        public void setType(int type) {
            this.type = type;
        }
    
        public int getLength() {
            return length;
        }
    
        public void setLength(int length) {
            this.length = length;
        }
    
        public byte[] getPayload() {
            return payload;
        }
    
        public void setPayload(byte[] payload) {
            this.payload = payload;
        }
    }

![e8500a34808f4ba2b7353775a979902a.png][]

响应如下：

/**
     * 这个对象表示一个响应，是根据自定义应用层协议来的
     */
    public class Response {
    
        private int type;
        private int length;
        private byte[] payload;
    
        public int getType() {
            return type;
        }
    
        public void setType(int type) {
            this.type = type;
        }
    
        public int getLength() {
            return length;
        }
    
        public void setLength(int length) {
            this.length = length;
        }
    
        public byte[] getPayload() {
            return payload;
        }
    
        public void setPayload(byte[] payload) {
            this.payload = payload;
        }
    }

### ![5058697cc96448ac8fbdd17a71789b36.png][] ###

### 1.2.2、参数说明 ###

1）type是一个整形，用来表示当前这个请求和响应是用来干啥的（对应 VirtualHost 中的核心 API），取值如下：

*  0x1 创建 channel
 *  0x2 关闭 channel
 *  0x3 创建 exchange
 *  0x4 销毁 exchange
 *  0x5 创建 queue
 *  0x6 销毁 queue
 *  0x7 创建 binding
 *  0x8 销毁 binding
 *  0x9 发送 message
 *  0xa 订阅 message
 *  0xb 返回 ack
 *  0xc 服务器给客⼾端推送的消息.(被订阅的消息) 响应独有的.

2）length 就是用来描述 payload 长度（防止粘包问题）

3）payload 就是具体要传输的二进制数据。数据具体是什么，会根据当前是请求还是响应，以及当前的 type 的不同取值来确定。

比如 type 是 0x3（创建交换机），同时当前是一个请求，此时 payload 里的内容，就相当于 exchangeDeclare 的 **参数** 的序列化的结果.

比如 type 是 0x3（创建交换机），同时当前是一个响应，此时 payload 里的内容，就是 exchangDeclare 的 **返回结果** 的序列化内容.

![771911d2de4f4ca490ced467e6d402e1.png][]

### 1.2.3、具体例子 ###

栗子如下：

1）请求

当前需要远程调用 exchangeDeclare 方法，那么我们就需要传递核心 API 以下参数

![d489a327a271495993ee186584e07d79.png][]

使用一个公共的父类包装每次 请求 中公共（每个请求都要传输）的参数

/**
     * 这个类用来表示方法的公共参数/辅助字段
     * 后续每个方法会有一些不同的参数，不同的参数再用不同的子类来表示
     */
    public class BasicArguments implements Serializable {
    
        // 表示一次 请求/响应 的身份标识，让请求和响应能对的上
        protected String rid;
        // 表示这次通信使用的 channel 的身份标识
        protected String channelId;
    
        public String getRid() {
            return rid;
        }
    
        public void setRid(String rid) {
            this.rid = rid;
        }
    
        public String getChannelId() {
            return channelId;
        }
    
        public void setChannelId(String channelId) {
            this.channelId = channelId;
        }
        
    }

创建 ExchangeDeclareArguments 类**（当前这个类将来会被序列化成 request 类中的 payload）**，继承 BasicArguments（公共参数），实现 Serializable 接口（避免序列化问题），要传递的参数如下：

public class ExchangeDeclareArguments extends BasicArguments implements Serializable {
    
        private String exchangeName;
        private ExchangeType exchangeType;
        private boolean durable;
        private boolean autoDelete;
        private Map<String, Object> arguments;
    
        public String getExchangeName() {
            return exchangeName;
        }
    
        public void setExchangeName(String exchangeName) {
            this.exchangeName = exchangeName;
        }
    
        public ExchangeType getExchangeType() {
            return exchangeType;
        }
    
        public void setExchangeType(ExchangeType exchangeType) {
            this.exchangeType = exchangeType;
        }
    
        public boolean isDurable() {
            return durable;
        }
    
        public void setDurable(boolean durable) {
            this.durable = durable;
        }
    
        public boolean isAutoDelete() {
            return autoDelete;
        }
    
        public void setAutoDelete(boolean autoDelete) {
            this.autoDelete = autoDelete;
        }
    
        public Map<String, Object> getArguments() {
            return arguments;
        }
    
        public void setArguments(Map<String, Object> arguments) {
            this.arguments = arguments;
        }
    }

2）响应

当前 VirtualHost 中的核心 API 返回值都是 Boolean 类型，因此我们使用一个公共类来封装响应**（当前这个类将来会被序列化成 response 类中的 payload 参数）**

public class BasicReturns implements Serializable {
    
        //用来标识唯一的请求和响应
        protected String rid;
        //标识一个 channel
        protected String channelId;
        //标识当前这个远程调用方法的返回值
        protected boolean ok;
    
        public String getRid() {
            return rid;
        }
    
        public void setRid(String rid) {
            this.rid = rid;
        }
    
        public String getChannelId() {
            return channelId;
        }
    
        public void setChannelId(String channelId) {
            this.channelId = channelId;
        }
    
        public boolean isOk() {
            return ok;
        }
    
        public void setOk(boolean ok) {
            this.ok = ok;
        }
    }

> Ps：其他核心 API 自定义应用层协议也一样

### 1.2.4、特殊栗子 ###

0xa 订阅 message ，这个核心 API 比较特殊，参数中有回调函数

![fc7ce4a69a7a44e9916912ed0eb0cd31.png][]

1）请求

创建 BasicConsumeArguments 类**（当前这个类将来会被序列化成 request 类中的 payload）** 表示要传递的参数，需要注意的是 Consumer 这个回调，在发送的请求中不需要携带这个参数（实际上也携带不了）

> Ps：因为服务器收到这个订阅消息请求之后，就直接取拿队列中的消息,接着直接反馈给客户端，客户端拿到消息后才执行回调方法（要拿这个消息干什么事）。
> 
> *这就类似于你去商店订阅报纸，接着拿到报纸以后，你要对这个报纸做什么，商店是不知道的~~*

public class BasicConsumeArguments extends BasicArguments implements Serializable {
    
        private String consumerTag;
        private String queueName;
        private boolean autoAck;
    
        //注意！ 这里的 Consumer 回调函数不用发送给服务器(实际上也发送不了)
        //因为服务器收到这个订阅消息请求之后，就直接取拿队列中的消息,接着直接反馈给客户端
        //客户端拿到消息后才执行回调方法
        //这就类似于你去商店订阅报纸，接着拿到报纸以后，你要对这个报纸做什么，商店是不知道的~~
    
    
        public String getConsumerTag() {
            return consumerTag;
        }
    
        public void setConsumerTag(String consumerTag) {
            this.consumerTag = consumerTag;
        }
    
        public String getQueueName() {
            return queueName;
        }
    
        public void setQueueName(String queueName) {
            this.queueName = queueName;
        }
    
        public boolean isAutoAck() {
            return autoAck;
        }
    
        public void setAutoAck(boolean autoAck) {
            this.autoAck = autoAck;
        }
    }

2）响应

创建 SubScribeReturns 类**（当前这个类将来会被序列化成 response 类中的 payload 参数）** 来描述响应， 这个响应中不光要携带 BasicReturns （返回的公共响应参数），还需要带上回调中消息的参数，如下：

public class SubScribeReturns extends BasicReturns implements Serializable {
    
        private String consumerTag;
        private BasicProperties basicProperties;
        private byte[] body;
    
        public String getConsumerTag() {
            return consumerTag;
        }
    
        public void setConsumerTag(String consumerTag) {
            this.consumerTag = consumerTag;
        }
    
        public BasicProperties getBasicProperties() {
            return basicProperties;
        }
    
        public void setBasicProperties(BasicProperties basicProperties) {
            this.basicProperties = basicProperties;
        }
    
        public byte[] getBody() {
            return body;
        }
    
        public void setBody(byte[] body) {
            this.body = body;
        }
    }

## 1.3、实现 BrokerServer ##

这里的写法就和以前写过的 TCP 回显服务器很类似了，只是根据请求计算响应的方式不同

### 1.3.1、属性和构造 ###

private ServerSocket serverSocket = null;
    
        //当前考虑一个 BrokerServer 上只有一个 虚拟主机
        private VirtualHost virtualHost = new VirtualHost("default");
        //使用 哈希表 来标识当前所有会话(哪个客户端正在和服务器进行通信)
        //key 是 channelId, value 为对应的 Socket 对象
        private ConcurrentHashMap<String, Socket> sessions = new ConcurrentHashMap<>();
        //用线程池来处理多个客户端请求
        private ExecutorService executorService = null;
        //引入一个 Boolean 变量控制服务器是否继续运行
        private volatile boolean runnable = true;
    
        public BrokerServer(int port) throws IOException {
            serverSocket = new ServerSocket(port);
        }

### 1.3.2、启动 BrokerServer ###

public void start() throws IOException {
            System.out.println("[BrokerServer] 启动！");
            executorService = Executors.newCachedThreadPool();
            while(runnable) {
                Socket clientSocket = serverSocket.accept();
                //处理连接的逻辑给线程池
                executorService.submit(() -> {
                    processConnection(clientSocket);
                });
            }
        }

### 1.3.3、停止 BrokerServer ###

/**
         * 停止服务器，一般是直接 kill 就可以了
         * 此处这个单独的方法，主要是为了后续的单元测试
         */
        public void stop() throws IOException {
            runnable = false;
            //放弃线程池中的任务，并销毁线程
            executorService.shutdown();
            serverSocket.close();
        }

### 1.3.4、处理每一个客户端连接 ###

private void processConnection(Socket clientSocket) {
            try (InputStream inputStream = clientSocket.getInputStream();
                 OutputStream outputStream = clientSocket.getOutputStream()) {
                // 这里需要按照特定格式来读取并解析. 此时就需要用到 DataInputStream 和 DataOutputStream
                try (DataInputStream dataInputStream = new DataInputStream(inputStream);
                     DataOutputStream dataOutputStream = new DataOutputStream(outputStream)) {
                    while (true) {
                        // 1. 读取请求并解析.
                        Request request = readRequest(dataInputStream);
                        // 2. 根据请求计算响应
                        Response response = process(request, clientSocket);
                        // 3. 把响应写回给客户端
                        writeResponse(dataOutputStream, response);
                    }
                }
            } catch (EOFException | SocketException e) {
                // 对于这个代码, DataInputStream 如果读到 EOF , 就会抛出一个 EOFException 异常.
                // 需要借助这个异常来结束循环
                System.out.println("[BrokerServer] connection 关闭! 客户端的地址: " + clientSocket.getInetAddress().toString()
                        + ":" + clientSocket.getPort());
            } catch (IOException | ClassNotFoundException | MqException e) {
                System.out.println("[BrokerServer] connection 出现异常!");
                e.printStackTrace();
            } finally {
                try {
                    // 当连接处理完了, 就需要记得关闭 socket
                    clientSocket.close();
                    // 一个 TCP 连接中, 可能包含多个 channel. 需要把当前这个 socket 对应的所有 channel 也顺便清理掉.
                    clearClosedSession(clientSocket);
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }

### 1.3.5、读取请求和写响应 ###

private Request readRequest(DataInputStream dataInputStream) throws IOException {
            Request request = new Request();
            request.setType(dataInputStream.readInt());
            request.setLength(dataInputStream.readInt());
            byte[] body = new byte[request.getLength()];
            int n = dataInputStream.read(body);
            if(n != request.getLength()) {
                throw new IOException("读出请求格式出错！");
            }
            request.setPayload(body);
            return request;
        }
    
        private void writeResponse(DataOutputStream dataOutputStream, Response response) throws IOException {
            dataOutputStream.write(response.getType());
            dataOutputStream.write(response.getLength());
            dataOutputStream.write(response.getPayload());
            dataOutputStream.flush();
        }

### 1.3.6、根据请求计算响应 ###

这里就是根据不同的 type 类型，来远程调用 VirtualHost 中不同的核心 API（需要特别注意订阅消息功能的回调函数）

private Response process(Request request, Socket clientSocket) throws IOException, ClassNotFoundException, MqException {
            //1.将 request 初步解析成 BasicArguments
            BasicArguments basicArguments = (BasicArguments) BinaryTool.fromBytes(request.getPayload());
            System.out.println("[Request] rid=" + basicArguments.getRid() + ", channelId=" + basicArguments.getChannelId() +
                    ", type=" + request.getType() + ", length=" + request.getLength());
            //2.根据 type 的值，进一步区分接下来要干什么
            boolean ok = true;
            if (request.getType() == 0x1) {
                //创建 channel
                sessions.put(basicArguments.getChannelId(), clientSocket);
                System.out.println("[BrokerServer] 创建 channel 完成！channelId=" + basicArguments.getChannelId());
            } else if(request.getType() == 0x2) {
                //销毁 channel
                sessions.remove(basicArguments.getChannelId());
                System.out.println("[BrokerServer] 销毁 channel 完成！channelId=" + basicArguments.getChannelId());
            } else if(request.getType() == 0x3) {
                //创建交换机，此时 payLoad 就是 ExchangDeclareArguments 了
                ExchangeDeclareArguments arguments = (ExchangeDeclareArguments) basicArguments;
                ok = virtualHost.exchangeDeclare(arguments.getExchangeName(), arguments.getExchangeType(),
                        arguments.isDurable(), arguments.isAutoDelete(), arguments.getArguments());
            } else if(request.getType() == 0x4) {
                ExchangeDeleteArguments arguments = (ExchangeDeleteArguments) basicArguments;
                ok = virtualHost.exchangeDelete(arguments.getExchangeName());
            } else if(request.getType() == 0x5) {
                QueueDeclareArguments arguments = (QueueDeclareArguments) basicArguments;
                ok = virtualHost.queueDeclare(arguments.getQueueName(), arguments.isDurable(),
                        arguments.isExclusive(), arguments.isAutoDelete(), arguments.getArguments());
            } else if(request.getType() == 0x6) {
                QueueDeleteArguments arguments = (QueueDeleteArguments) basicArguments;
                ok = virtualHost.queueDelete(arguments.getQueueName());
            } else if(request.getType() == 0x7) {
                QueueBindArguments arguments = (QueueBindArguments) basicArguments;
                ok = virtualHost.queueBind(arguments.getQueueName(), arguments.getExchangeName(), arguments.getBindingKey());
            } else if(request.getType() == 0x8) {
                QueueUnBindArguments arguments = (QueueUnBindArguments) basicArguments;
                ok = virtualHost.queueUnBind(arguments.getQueueName(), arguments.getExchangeName());
            } else if(request.getType() == 0x9) {
                BasicPublishArguments arguments = (BasicPublishArguments) basicArguments;
                ok = virtualHost.basicPublish(arguments.getExchangeName(), arguments.getRoutingKey(), arguments.getBasicProperties(), arguments.getBody());
            } else if(request.getType() == 0xa) {
                BasicConsumeArguments arguments = (BasicConsumeArguments) basicArguments;
                ok = virtualHost.basicConsume(arguments.getConsumerTag(), arguments.getQueueName(), arguments.isAutoAck(), new Consumer() {
                    //这个回调函数要做的就是，把服务器收到的消息可以直接推送回对应的消费者客户端
                    @Override
                    public void handlerDelivery(String consumerTag, BasicProperties basicProperties, byte[] body) throws MqException, IOException {
                        //首先需要知道收到的消息要发给哪个客户端
                        //此处 consumerTag 其实就是 channelId，根据 channelId 去 sessions 中查询，既可以得到对应的
                        //socket 对象了，从而往里面发送数据
                        //1.根据 channelId 找到 socket 对象
                        Socket clientSocket = sessions.get(consumerTag);
                        if(clientSocket == null || clientSocket.isClosed()) {
                            throw new MqException("[BrokerServer] 订阅消息的客户端已经关闭！");
                        }
                        //2.构造响应数据
                        SubScribeReturns subScribeReturns = new SubScribeReturns();
                        subScribeReturns.setChannelId(consumerTag);
                        subScribeReturns.setRid("");//由于这里只有响应，没有请求，不需要去对应，rid 暂时不需要
                        subScribeReturns.setOk(true);
                        subScribeReturns.setConsumerTag(consumerTag);
                        subScribeReturns.setBasicProperties(basicProperties);
                        subScribeReturns.setBody(body);
                        byte[] payload = BinaryTool.toBytes(subScribeReturns);
                        Response response = new Response();
                        // 0xc 表示服务器给消费者客户端推送的消息数据
                        response.setType(0xc);
                        response.setLength(payload.length);
                        response.setPayload(payload);
                        //3.把数据写回给客户端
                        //  注意！此处的 dataOutputStream 这个对象不能 close
                        //  如果把 dataOutputStream 关闭， 就会直接把 clientSocket 里的 outputStream 也关了
                        //  此时就无法继续往 socket 中写后续的数据了
                        DataOutputStream dataOutputStream = new DataOutputStream(clientSocket.getOutputStream());
                        writeResponse(dataOutputStream, response);
                    }
                });
            } else if(request.getType() == 0xb) {
                //调用 basicAck 确认消息
                BasicAckArguments arguments = (BasicAckArguments) basicArguments;
                ok = virtualHost.basicAck(arguments.getQueueName(), arguments.getMessageId());
            } else {
                throw new MqException("[BrokerServer] 未知 type！type=" + request.getType());
            }
            //构造响应
            BasicReturns basicReturns = new BasicReturns();
            basicReturns.setRid(basicArguments.getRid());
            basicReturns.setChannelId(basicArguments.getChannelId());
            basicReturns.setOk(ok);
            byte[] payload = BinaryTool.toBytes(basicReturns);
            Response response = new Response();
            response.setType(request.getType());
            response.setLength(request.getLength());
            response.setPayload(payload);
            System.out.println("[Response] rid=" + basicReturns.getRid() + ", channelId=" + basicReturns.getChannelId()
                    + ", type=" + response.getType() + ", length=" + response.getLength());
            return response;
        }

### 1.3.7、清除 channel ###

清理 map 中对应的(clientSocket) session 信息

private void clearClosedSession(Socket clientSocket) {
            List<String> toDeleteChannelId = new ArrayList<>();
            for(Map.Entry<String, Socket> entry : sessions.entrySet()) {
                if(entry.getValue() == clientSocket) { //这里一个 key 可能对应多个相同的 Socket
                    //在集合类中不能一边用迭代器一边删除，会破坏迭代器结构的!
                    //sessions.remove(entry.getKey());
                    //因此这里先记录下 key
                    toDeleteChannelId.add(entry.getKey());
                }
            }
            for(String channelId : toDeleteChannelId) {
                sessions.remove(channelId);
            }
            System.out.println("[BrokerServer] 清理 session 完毕！channelId=" + toDeleteChannelId);
        }

![d5d80ae210394472b202eca2b76e9a96.gif][]

[df3fdafc2cef49f0a66e8e22920527fa.png]: https://img-blog.csdnimg.cn/df3fdafc2cef49f0a66e8e22920527fa.png
[e8500a34808f4ba2b7353775a979902a.png]: https://img-blog.csdnimg.cn/e8500a34808f4ba2b7353775a979902a.png
[5058697cc96448ac8fbdd17a71789b36.png]: https://img-blog.csdnimg.cn/5058697cc96448ac8fbdd17a71789b36.png
[771911d2de4f4ca490ced467e6d402e1.png]: https://img-blog.csdnimg.cn/771911d2de4f4ca490ced467e6d402e1.png
[d489a327a271495993ee186584e07d79.png]: https://img-blog.csdnimg.cn/d489a327a271495993ee186584e07d79.png
[fc7ce4a69a7a44e9916912ed0eb0cd31.png]: https://img-blog.csdnimg.cn/fc7ce4a69a7a44e9916912ed0eb0cd31.png
[d5d80ae210394472b202eca2b76e9a96.gif]: https://img-blog.csdnimg.cn/d5d80ae210394472b202eca2b76e9a96.gif