Dubbo—基于dubbo框架下的RPC通讯协议性能测试

系统管理员 2022-12-07 11:58 228阅读 0赞

一、前言  
　　Dubbo RPC服务框架支持丰富的传输协议、序列化方式等通讯相关的配置和扩展。dubbo执行一次RPC请求的过程大致如下：消费者（Consumer）向注册中心（Registry）执行RPC请求，注册中心分配服务URL并路由到具体服务提供方（Provider），消费者和服务提供方建立网络连接，服务提供方在本地创建连接池对象并提供远程服务，对于长连接类型协议（如dubbo协议）将保持连接，减少握手认证，调用过程中可以避免频繁建立和断开连接导致的性能开销，保持长连接需要有心跳包的发送，所以对于非频繁调用的服务保持连接同样会有消耗。更多关于dubbo详细介绍请参照官方文档（http://alibaba.github.io/dubbo-doc-static/Home-zh.htm）。

1、支持常见的传输协议：RMI、Dubbo、Hessain、WebService、Http等，其中Dubbo和RMI协议基于TCP实现，Hessian和WebService基于HTTP实现。

2、传输框架：Netty、Mina、以及基于servlet等方式。

3、序列化方式：Hessian2、dubbo、JSON（fastjson 实现）、JAVA、SOAP 等。

本文主要基于dubbo框架下的通讯协议进行性能测试对比。

二、测试方案  
　　基于dubbo 2.5.3框架，使用zookeeper作为dubbo服务注册中心，分别以单线程和多线程的方式测试以下方案：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center]  
三、传输测试数据  
1、单POJO对象，嵌套复杂集合类型

2、POJO集合，包含100个单POJO对象

3、1K字符串

4、100K字符串

5、1M字符串

四、服务接口和实现  
　　1、服务接口相关代码：

package ibusiness;
    
    import java.util.List;
    
    import model.*;
    
    public interface IBusinessOrder { 
        public String SendStr(String str);
    
        public List<OrderInfo> LoadOrders(List<OrderInfo> orders);
    
        public OrderInfo LoadOrder(OrderInfo order);
    }

2、服务实现相关代码，测试数据在服务器端不做任何处理原样返回：

package business;
    
    import ibusiness.IBusinessOrder;
    
    import java.util.List;
    
    import model.*;
    
    public class BusinessOrder implements IBusinessOrder { 
        public String SendStr(String str) { 
            return str;
        }
    
        public List<OrderInfo> LoadOrders(List<OrderInfo> orders) { 
            return orders;
        }
    
        public OrderInfo LoadOrder(OrderInfo order) { 
            return order;
        }
    }

五、单线程测试  
　　1、测试仅记录rpc调用时间，测试数据的读取组装以及首次建立连接等相关耗时时间不作统计，循环执行100次取平均值。

2、服务消费方测试代码

import java.util.List;
    
    import org.springframework.context.ApplicationContext;
    import org.springframework.context.support.FileSystemXmlApplicationContext;
    
    import com.alibaba.dubbo.rpc.service.EchoService;
    import common.Common;
    
    import ibusiness.*;
    import model.*;
    
    public class Program { 
        public static void main(String[] args) throws Exception { 
    
            ApplicationContext ctx = new FileSystemXmlApplicationContext("src//applicationContext.xml");
            IBusinessOrder orderBusiness = (IBusinessOrder) ctx.getBean("orderBusiness");
    
    // EchoService echoService = (EchoService) orderBusiness;
    // String status = echoService.$echo("OK").toString();
    // if (!status.equals("OK")) { 
    // System.out.println("orderBusiness out of service!");
    // return;
    // } else { 
    // System.out.println("orderBusiness in service !");
    // }
    
            long startMili, endMili;
            int loop = 100;
    
            // 单个pojo
            try { 
                OrderInfo order = Common.BuildOrder();
                orderBusiness.LoadOrder(order); // 防止首次连接的开销
    
                startMili = System.currentTimeMillis();
                OrderInfo returnOrder = null;
                for (int i = 0; i < loop; i++) { 
                    returnOrder = orderBusiness.LoadOrder(order);
                }
                endMili = System.currentTimeMillis();
                System.out.println("单个pojo 平均传输耗时为：" + ((endMili - startMili) / (float) loop) + "毫秒 ,返回对象BillNumber:" + returnOrder.getBillNumber());
            } catch (Exception ex) { 
                System.out.println("单个pojo 测试失败!");
                //ex.printStackTrace();
            }
    
            // pojo集合 (100)
            try { 
                List<OrderInfo> orderList = Common.BuildOrderList();
                startMili = System.currentTimeMillis();
                List<OrderInfo> returnOrderList = null;
                for (int i = 0; i < loop; i++) { 
                    returnOrderList = orderBusiness.LoadOrders(orderList);
                }
                endMili = System.currentTimeMillis();
                System.out.println("pojo集合 (100) 平均传输耗时为：" + ((endMili - startMili) / (float) loop) + "毫秒 ,返回记录数：" + returnOrderList.size());
            } catch (Exception ex) { 
                System.out.println("pojo集合 (100) 测试失败!");
            }
    
            // 1K String
            try { 
                String str1k = Common.Build1KString();
                startMili = System.currentTimeMillis();
                String returnStr1k = null;
                for (int i = 0; i < loop; i++) { 
                    returnStr1k = orderBusiness.SendStr(str1k);
                }
                endMili = System.currentTimeMillis();
                System.out.println("1K String 平均传输耗时为：" + ((endMili - startMili) / (float) loop) + "毫秒,返回字符长度：" + returnStr1k.length());
            } catch (Exception ex) { 
                System.out.println("1K String 测试失败!");
            }
    
            // 100K String
            try { 
                String str100K = Common.Build100KString();
                startMili = System.currentTimeMillis();
                String returnStr100k = null;
                for (int i = 0; i < loop; i++) { 
                    returnStr100k = orderBusiness.SendStr(str100K);
                }
                endMili = System.currentTimeMillis();
                System.out.println("100K String 平均传输耗时为：" + ((endMili - startMili) / (float) loop) + "毫秒,返回字符长度：" + returnStr100k.length());
            } catch (Exception ex) { 
                System.out.println("100K String 测试失败!");
            }
    
            // 1M String
            try { 
                String str1M = Common.Build1MString();
                startMili = System.currentTimeMillis();
                String returnStr1M = null;
                for (int i = 0; i < loop; i++) { 
                    returnStr1M = orderBusiness.SendStr(str1M);
                }
                endMili = System.currentTimeMillis();
                System.out.println("1M String 平均传输耗时为：" + ((endMili - startMili) / (float) loop) + "毫秒,返回字符长度：" + returnStr1M.length());
            } catch (Exception ex) { 
                System.out.println("1M String 测试失败!");
            }
    
            System.out.println("all test done!");
        }
    }

3、测试数据耗时记录

A、dubbo 协议、netty 传输、hessian2 序列化

<dubbo:protocol name=“dubbo” server=“netty” port=“30001” serialization=“hessian2” />  
![在这里插入图片描述][20200915162508722.png_pic_center]  
B、dubbo 协议、netty 传输、dubbo 序列化

<dubbo:protocol name=“dubbo” server=“netty” port=“30001” serialization=“dubbo” />  
![在这里插入图片描述][202009151625266.png_pic_center]  
C、dubbo 协议、netty 传输、java 序列化

<dubbo:protocol name=“dubbo” server=“netty” port=“30001” serialization=“java” />

![在这里插入图片描述][2020091516254959.png_pic_center]  
D、RMI 协议、netty 传输、java 序列化

<dubbo:protocol name=“rmi” server=“netty” port=“1099” serialization=“java” />

![在这里插入图片描述][20200915162604981.png_pic_center]  
E、RMI 协议、netty 传输、hessian2 序列化

<dubbo:protocol name=“rmi” server=“netty” port=“1099” serialization=“hessian2” />

![在这里插入图片描述][20200915162710609.png_pic_center]  
F、Hessian协议、servlet（tomcat容器）、hessian2 序列化

<dubbo:protocol name=“hessian” port=“8080” server=“servlet” serialization=“hessian2” />

![在这里插入图片描述][20200915162725667.png_pic_center]

G、WebService协议、servlet（tomcat容器）、SOAP序列化

<dubbo:protocol name=“webservice” port=“8080” server=“servlet” />

![在这里插入图片描述][2020091516274518.png_pic_center]  
4、性能对比  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 1]  
六、多线程测试  
　　1、由于测试机器配置较低，为了避免达到CPU瓶颈，测试设定服务消费方Consumer并发10个线程，每个线程连续对远程方法执行5次调用，服务提供方设置允许最大连接数100个，同时5个连接并行执行，超时时间设置为5000ms，要求所有事务都能正确返回没有异常，统计包含首次建立连接的消耗时间。

2、服务消费方测试代码

3、测试数据耗时记录

A、dubbo 协议、netty 传输、hessian2 序列化

<dubbo:protocol name=“dubbo” server=“netty” port=“30001” serialization=“hessian2” />  
![在这里插入图片描述][2020091516285248.png_pic_center]  
B、dubbo 协议、netty 传输、dubbo 序列化

<dubbo:protocol name=“dubbo” server=“netty” port=“30001” serialization=“dubbo” />  
![在这里插入图片描述][20200915162920358.png_pic_center]  
C、dubbo 协议、netty 传输、java 序列化

<dubbo:protocol name=“dubbo” server=“netty” port=“30001” serialization=“java” />  
![在这里插入图片描述][20200915162939932.png_pic_center]  
D、RMI 协议、netty 传输、java 序列化

<dubbo:protocol name=“rmi” server=“netty” port=“1099” serialization=“java” />

![在这里插入图片描述][20200915163001166.png_pic_center]  
E、RMI 协议、netty 传输、hessian2 序列化

<dubbo:protocol name=“rmi” server=“netty” port=“1099” serialization=“hessian2” />

![在这里插入图片描述][20200915163216899.png_pic_center]  
F、Hessian协议、servlet、hessian2 序列化

<dubbo:protocol name=“hessian” port=“8080” server=“servlet” serialization=“hessian2” />

![在这里插入图片描述][20200915163232638.png_pic_center]  
G、WebService协议、servlet、SOAP序列化

<dubbo:protocol name=“webservice” port=“8080” server=“servlet” />

![在这里插入图片描述][20200915163252258.png_pic_center]  
　4、性能对比  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 2]  
七、性能分析  
　　测试过程中尽管考虑了非常多的影响因素，但仍然有很多局限性，包括连接数限制、并发量、线程池策略、Cache、IO、硬件性能瓶颈等等因素，而且各自的适用场景不同，测试结果仅供参考。

从单线程测试结果可以看出，dubbo协议采用NIO复用单一长连接更适合满足高并发小数据量的rpc调用，而在大数据量下的传输性能并不好，建议使用rmi协议，多线程测试中dubbo协议对小数据量的rpc调用同样保持优势，在大数据量的传输中由于长连接的原因对比rmi协议传输耗时差距并不明显，这点同样验证了上述观点。关于数据的序列化方式选择需要考虑序列化和反序列化的效率问题，传输内容的大小，以及格式的兼容性约束，其中hessian2作为duobb协议下的默认序列化方式，推荐使用。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 3]

上面是我收集的一些视频资源，在这个过程中帮到了我很多。如果你不想再体验一次自学时找不到资料，没人解答问题，坚持几天便放弃的感受的话，可以加入我们群【902061117】，里面有各种软件测试资源和技术讨论。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 4]

当然还有面试，面试一般分为技术面和hr面，形式的话很少有群面，少部分企业可能会有一个交叉面，不过总的来说，技术面基本就是考察你的专业技术水平的，hr面的话主要是看这个人的综合素质以及家庭情况符不符合公司要求，一般来讲，技术的话只要通过了技术面hr面基本上是没有问题（也有少数企业hr面会刷很多人）  
我们主要来说技术面，技术面的话主要是考察专业技术知识和水平，上面也是我整理好的精选面试题。  
加油吧，测试人！如果你需要提升规划，那就行动吧，在路上总比在起点观望的要好。事必有法，然后有成。  
资源不错就给个推荐吧~

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/6f8dcb8465e7494fa1a704bae15d4d72.png
[20200915162508722.png_pic_center]: /images/20221123/065fad990b8a45429e1e9bc0a0bb9c63.png
[202009151625266.png_pic_center]: /images/20221123/b4ae372f4eda4769b1a57f9bd4bdaa10.png
[2020091516254959.png_pic_center]: /images/20221123/182f24897d624ce98d2ff920b13607cc.png
[20200915162604981.png_pic_center]: /images/20221123/fcd782037aef407c898c11068da322ff.png
[20200915162710609.png_pic_center]: /images/20221123/ce73e95838ac403186ec1b5455a3e8f9.png
[20200915162725667.png_pic_center]: /images/20221123/bdcbf462836b4331a5491b04ae8606ce.png
[2020091516274518.png_pic_center]: /images/20221123/e56d7b7128f74fe8a509163ecac4d47d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/2be5b414e1df44b8916a9807e5c1337d.png
[2020091516285248.png_pic_center]: /images/20221123/6ed1fb03651942bd8337171e5d3fb3a1.png
[20200915162920358.png_pic_center]: /images/20221123/5c48c2c35bd74482ae36a40c918411d5.png
[20200915162939932.png_pic_center]: /images/20221123/f47ea0af76684576bd7c915757888e23.png
[20200915163001166.png_pic_center]: /images/20221123/e6ef1f188adc4ee39e64dc683cd2a31e.png
[20200915163216899.png_pic_center]: /images/20221123/d5e8b41a1d5c432091908db66951b812.png
[20200915163232638.png_pic_center]: /images/20221123/261b434e39d44c619db6d8542cfc1c00.png
[20200915163252258.png_pic_center]: /images/20221123/87daa6874b5f4c408f6e296a401aacdf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/d99ddddbb8cd4f419d4239954018a128.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/b4b4c2dab00841a9b311ce32c2d107ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/75c0bdbd6c934e21a236dd9606b7c8f4.png