DPDK系列之六：qemu-kvm网络后端的加速技术

雨点打透心脏的1/2处 2022-05-24 05:07 465阅读 0赞

**一、前言**

在文章[《DPDK系列之五：qemu-kvm网络简介][DPDK_qemu-kvm]》中可以看到qemu-kvm为不同需求的虚拟机提供了不同的网络方案，这些网络方案的性能最终都取决于位于宿主机上的网络backend的实现方式。本文对于不同的backend技术进行分析。

转载自https://blog.csdn.net/cloudvtech

**二、qemu-kvm网络后端加速**

2.1 全模拟网卡

在最早的qemu的实现中，模拟了一个标准的e1000网卡，网络所有的行为都由qemu的服务进程进行模拟；但是虚拟机在收发包的时候，需要guest进行io和mmio等操作，使得虚拟机不断进行ring级别的切换，性能损失严重。

2.2 virtio加速技术

为了解决全模拟网卡的性能缺陷，virtio技术得以发展，这个准虚拟化技术将前端模拟设备virtio driver(如virtio-net)和宿主机上的后端服务virtio-backend通过virtqueue进行数据交换：

+---------+------+--------+----------+--+
    |         +------+        +----------+  |
    | user    |      |        |          |  |
    | space   |      |        |  guest   |  |
    |         |      |        |          |  |
    |    +----+ qemu |        | +-+------+  |
    |    |    |      |        | | virtio |  |
    |    |    |      |        | | driver |  |
    |    |    +------+        +-+---++---+  |
    |    |                          |       |
    |    |       ^                  |       |
    |    v       |                  v       |
    |            |                          |
    +-+-----+-----------------+--+-------+--+
    | |tap  |    +------------+ kvm.ko   |  |
    | +-----+                 +--+-------+  |
    |                kernel                 |
    +---------------------------------------+

virtio技术减少了虚拟网卡的io操作，一定程度上提升了网络性能。但是从上图可以看到virtio技术需要进出内核态的两次切换开销，性能还有提升空间。

2.3 vhost加速技术

vhost技术对virtio技术进行了进一步优化，引入vhost-backend，即将virtio-backend做成vhost-net.ko模块放置于内核中，有网络io请求的时候，KVM直接和这个内核模块进行通信，进行一次用户态到内核态的切换就可以完成数据传输，极大提升了虚拟网络性能：

+---------+------+--------+----------+--+
    |         +------+        +----------+  |
    | user    |      |        |          |  |
    | space   |      |        |  guest   |  |
    |         |      |        |          |  |
    |         | qemu |        | +-+------+  |
    |         |      |        | | virtio |  |
    |         |      |        | | driver |  |
    |         +------+        +-+---++---+  |
    |                               |       |
    |                               |       |
    |                               v       |
    |                                       |
    +-+-----+---+-+----+------+----+--+-----+
    | |tap  |   | vhost-net.ko|    | kvm.ko |
    | +---^-+   +------+----^-+    +----+---+
    |     |-------|  kernel |-----------|   |
    +---------------------------------------+

2.4 vhost-user加速技术

随着数据面加速技术如DPDK、大页内存、处理器隔离等技术的引入，用户态的网络数据处理能力得到了很大的提升，所以在vhost技术中又引入了用户态的vhost-backend叫做vhost-user，这个后端和virtio-backend一样运行在用户态。在南北向通信的时候，收发数据包也需要进出内核两次，所不同的是vhost-user可以支持如大页、零拷贝、NUMA local、CPU pin、DPDK众多数据面优化技术来进一步加速虚拟机数据包的收发路径：

+---------------+------+--+----------+--+
    |               +------+  +----------+  |
    | user          |      |  |          |  |
    | space         |      |  |  guest   |  |
    |               |      |  |          |  |
    |  +-+-------+  | qemu |  | +-+------+  |
    |  | vhost   |  |      |  | | virtio |  |
    |  | backend |  |      |  | | driver |  |
    |  +---------+  +------+  +-+---++---+  |
    |                               |       |
    |      ^                        |       |
    |      |                        v       |
    |      |                                |
    +------------------------------+--+-----+
    |      +-----------------------+ kvm.ko |
    |                              +--+-----+
    |                kernel                 |
    +---------------------------------------+

而在东西向通信的时候，如果通信的虚拟机在同一个宿主机上，这直接可以通过vhost技术在用户态进行通信。

转载自https://blog.csdn.net/cloudvtech

**三、vhost-user使用DPDK加速**

OVS可以和vhost-user一起工作，为基于bridge模式的后端提供加速：

![70][]

而通过使用[OVS-DPDK][]，可以让虚拟机网络接口不变的情况下，享受宿主机使用DPDK快速通道带来的数据面速度提升。

![70 1][]

但是更进一步，虚拟机里面也可以是运行DPDK，从而建立从虚拟机应用程序到宿主机网卡的基于DPDK的快速数据通路：

![70 2][]

但是在宿主机是否开启OVS-DPDK以及虚拟机是否开启DPDK的组合中，性能存在如下组合关系：

![70 3][]

而在虚拟机和容器混合部署的环境下，DPDK与OVS的结合可以提供更加灵活的数据面加速方案。

/root/openvswitch-2.8.1/utilities/ovs-vsctl add-port br0 myportnameone -- set Interface myportnameone type=dpdkvhostuser options:dpdk-devargs=0000:02:06.0
    
    /root/qemu-2.11.0/x86_64-softmmu/qemu-system-x86_64 -m 1024 -smp 1 -hda ./centos.qcow2 -boot c -enable-kvm -no-reboot -net none -nographic \
    -chardev socket,id=char1,path=/usr/local/var/run/openvswitch/myportnameone \
    -netdev type=vhost-user,id=mynet1,chardev=char1,vhostforce \
    -device virtio-net-pci,mac=00:00:00:00:00:01,netdev=mynet1 \
    -object memory-backend-file,id=mem,size=1G,mem-path=/dev/hugepages,share=on \
    -numa node,memdev=mem -mem-prealloc \
    -vnc :1 --enable-kvm \
    -netdev tap,id=tapnet,ifname=vnet0,script=no -device rtl8139,netdev=tapnet,mac=52:54:00:12:34:58

转载自https://blog.csdn.net/cloudvtech

[DPDK_qemu-kvm]: https://blog.csdn.net/cloudvtech/article/details/80390561
[70]: /images/20220524/162963d6e768487e8152e24ec62778d0.png
[OVS-DPDK]: http://docs.openvswitch.org/en/latest/intro/install/dpdk/
[70 1]: /images/20220524/11143e6491324c8d9cf2c05b1477799c.png
[70 2]: /images/20220524/edf7ff6191ec4fcc8d67b6f008999350.png
[70 3]: /images/20220524/f049e3fca45844f3a63c9cd676d34e63.png