追求极致：Repvgg重参数化对YOLO工业落地的实验和思考

╰半夏微凉° 2022-08-28 12:58 253阅读 0赞

本文作者主要借鉴repvgg重参化的思想，将原有的3×3conv替换成Repvgg Block，为原有的YOLO模型涨点。

**前言：** 之前做了一次shufflenetv2与yolov5的组合，目的是为了适配arm系列芯片，让yolov5在端侧设备上也能达到实时。但在gpu或者npu方面也一直在尝试着实验，对此类实验的目的很明确，要求也不高，主要还是希望yolov5在保持原有精度的同时能够提速。这一次的实验主要借鉴repvgg重参化的思想，将原有的3×3conv替换成Repvgg Block，为原有的YOLO模型涨点。

## 实验 ##

这一次的模型主要还是借鉴repvgg重参化的思想，将原有的3×3conv替换成repvgg block，在训练过程中，使用的是一个多分支模型，而在部署和推理的时候，用的是多分支转化为单路的模型。

![图片][bc48c557a0172b3970dc4964eab9078f.png]

图摘自https://arxiv.org/pdf/2101.03697.pdf

类比repvgg在论文中阐述的观点，这里的baseline选定的是yolov5s，对yolov5s的3×3conv进行重构，分出一条1×1conv的旁支。

![图片][2491b0842e78e93f4e4a280029910f19.png]

在推理时，将旁支融合到3×3的卷积中，此时的模型和原先的yolov5s模型无二致

![图片][e633b6541a296879ae7d38c8faa5ecd6.png]

在次之前，采用的是最直接的方式对yolov5s进行魔改，也就是直接替换backbone的方式，但发现参数量和FLOPs较高，复现精度最接近yolov5s的是repvgg-A1，如下backbone替换为A1的yolov5s：

![图片][893703e579930845f2867cd03e433fc2.png]

而后，为了抑制Flops和参数的增加，采取使用repvgg block替换yolov5s的3×3conv的方式。

![图片][e2dd9a35def2d8948128b9d958144421.png]

两者之间相差的Flops比和参数比约为2.75和1.85.

## 性能 ##

通过消融实验，得出的yolov5s和融合repvgg block的yolov5s性能差异如下：

![图片][fe35d9e62290135bf9cb463b1b396b14.png]

Rep指植入repvgg block模块，Silu和leaky指使用的激活函数

这里评估的yolov5s在map指标上和官网有所出入，测试两次后均为55.8和35.8，不过这个测试结果和GitHub - midasklr/yolov5prune （https://github.com/midasklr/yolov5prune）以及Issue \#3168 · ultralytics/yolov5（https://github.com/ultralytics/yolov5/issues/3168）大致相同。使用repvgg block重构yolov5s的3×3卷积，在map@0.5和@.5:.95指标上均能至少提升一个点。

训练结束后的repyolov5s需要进行convert，将旁支的1×1conv进行融合，否则在推理时会比原yolov5s慢20%。

使用convert.py对repvgg block进行重参化，主要代码如下，参考https://github.com/DingXiaoH/RepVGG/blob/main/repvgg.py：

# --------------------------repvgg refuse---------------------------------
        def reparam conv(self):  # fuse model Conv2d() + BatchNorm2d() layers
             """
            :param rbr_dense: 3×3卷积模块
            :param rbr_1x1: 1×1旁支inception
            :param _pad_1x1_to_3x3_tensor: 对1×1的inception进行扩充
            :return:
            """
            print('Reparam and Fusing Block... ')
            for m in self.model.modules():
                # print(m)
                if type(m) is RepVGGBlock:
                    if hasattr(m, 'rbr_1x1'):
                        # print(m)
                        kernel, bias = m.get_equivalent_kernel_bias()
                        conv_reparam = nn.Conv2d(in_channels=m.rbr_dense.conv.in_channels,
                                                     out_channels=m.rbr_dense.conv.out_channels,
                                                     kernel_size=m.rbr_dense.conv.kernel_size,
                                                     stride=m.rbr_dense.conv.stride,
                                                     padding=m.rbr_dense.conv.padding, dilation=m.rbr_dense.conv.dilation,
                                                     groups=m.rbr_dense.conv.groups, bias=True)
                        conv_reparam.weight.data = kernel
                        conv_reparam.bias.data = bias
                        for para in self.parameters():
                            para.detach_()
                        m.rbr_dense = conv_reparam
                        # m.__delattr__('rbr_dense')
                        m.__delattr__('rbr_1x1')
                        m.deploy = True
                        m.forward = m.fusevggforward  # update forward
                    continue
                    # print(m)
                if type(m) is Conv and hasattr(m, 'bn'):
                    # print(m)
                    m.conv = fuse_conv_and_bn(m.conv, m.bn)  # update conv
                    delattr(m, 'bn')  # remove batchnorm
                    m.forward = m.fuseforward  # update forward
            self.info()
            return self

我们可以通过调用onnx模型对convert前后的模型进行可视化：

![图片][611f6472db2fa7b6065a8defa21d3ef4.png]

## 推理 ##

map指标只是参考的一部分，还有一部分是关于reparam和fuse后的yolov5s会不会因为repvgg block的植入而变慢。在理论上，reparam后的repvgg block等价于3×3卷积，不过该卷积因为融合比普通3×3卷积更加紧凑。

在测试三次coco val2017数据集后（5000张并进行单张推理），得出repyolov5s的单张推测时间为14/14/14（ms）、yolov5s为16/16/16（ms），这里和白神讨论了一下，白神认为两者极度接近的推理时间可能存在着测试误差，无任何说服性。

不过可以肯定的是convert后的yolov5s推理速度不会因为repvgg block植入而变慢。为了避免偶然性和测算误差，这里使用了500/5000/64115/118287张图片进行了推理测试：

![图片][761fd59de3cdc8f3b61fabb24f6cca87.png]

左为植入repvgg block的yolov5s，右为原yolov5s

测试后的结果如下：

![图片][f4ab5bc681c7728cc2909e84655fb896.png]

Rep表示融合的repvgg block，silu和leaky指激活函数，最后一行是不做融合的repyolov5s

## 测试 ##

检测效果应该也是大家关心的一个指标，使用以上两个模型，保证其他参数均一致，对图片进行检测，效果如下：

![图片][0b132ca042bafba41c52f65c63e0599b.png]

融合repvgg的yolov5s

![图片][9d4d84ba1f0eaf52a1324a09cc8f56ec.png]

原yolov5s

## 总结 ##

使用repvgg block对yolov5s进行改进，通过消融实验，总结出以下几点：

*  融合repvgg block的yolov5s在大小尺度目标上均能涨点；
 *  使用融合repvgg block和**leakyrelu**的yolov5s比原yolov5s在map上降低了0.5个百分点，但是速度可以提升15%（主要是替换了Silu函数起的作用）；
 *  如果不做convert，个人感觉这个融合实验毫无意义，旁生的支路会严重影响模型的运行速度；
 *  **C3 Block和Repvgg Block在cpu上使用性价比低，在gpu和npu上使用才能带来最大增益**
 *  使用重参化的yolov5是有代价的，代价主要损耗均在训练方面，会多占用显卡大约5-10%的显存，训练时间也会增多
 *  可以考虑使用repvgg block对yolov3-spp和yolov4的3×3卷积进行重构

代码和预训练模型后续会放到本人仓库上：

参考：

【1】https://zhuanlan.zhihu.com/p/344324470

【2】https://github.com/ultralytics/yolov5/discussions/3181

【3】Use activation function · Issue \#584 · ultralytics/yolov5

【4】https://github.com/ppogg/YOLOv5-Lite

[bc48c557a0172b3970dc4964eab9078f.png]: /images/20220828/35236e4ef93b4b3bb2da13c4e9b48fae.png
[2491b0842e78e93f4e4a280029910f19.png]: /images/20220828/92a79c25966948839db01329289406de.png
[e633b6541a296879ae7d38c8faa5ecd6.png]: /images/20220828/3eecad5c0a394a76832c0b9bbf7d32c5.png
[893703e579930845f2867cd03e433fc2.png]: /images/20220828/981c98e4b9254bf7bb95ababae625d55.png
[e2dd9a35def2d8948128b9d958144421.png]: /images/20220828/52f5be2a92bb4c99bc561ee32c6b6c53.png
[fe35d9e62290135bf9cb463b1b396b14.png]: /images/20220828/6c4d80cc9b434c37a27a7f4b5be8b28c.png
[611f6472db2fa7b6065a8defa21d3ef4.png]: /images/20220828/e7b4ef43bb5143b7b500232618e8e19b.png
[761fd59de3cdc8f3b61fabb24f6cca87.png]: /images/20220828/7113354557ba40539f8b2fab7f4d2250.png
[f4ab5bc681c7728cc2909e84655fb896.png]: /images/20220828/84acc10a82904eccb2a963807bece715.png
[0b132ca042bafba41c52f65c63e0599b.png]: /images/20220828/bf07c57f7b9c483c9012ddec4aab9595.png
[9d4d84ba1f0eaf52a1324a09cc8f56ec.png]: /images/20220828/e0278c016b564cd69305e72c6848e7a5.png

发表评论取消回复

表情：

评论列表（有 0 条评论，253人围观）

还没有评论，来说两句吧...

相关阅读

相关数据的持久化同步落地入库

数据的持久化/同步/落地/入库(定时器) 分析数据持久化思考: 1.需要将哪些数据进行持久化处理数据被改动,并且一定业务价值的数据

╰+攻爆jí腚メ/ 2022年11月29日 00:52/ 0 赞/ 157 阅读

相关 nlp落地

service: word seg （分词）（ltp or jieba + stop word + userdict） tag 标题党时效性地域低俗标题情

古城微笑少年丶/ 2022年09月06日 00:08/ 0 赞/ 258 阅读

相关追求极致：Repvgg重参数化对YOLO工业落地的实验和思考

本文作者主要借鉴repvgg重参化的思想，将原有的3×3conv替换成Repvgg Block，为原有的YOLO模型涨点。前言：之前做了一次shufflenetv2与yo

╰半夏微凉°/ 2022年08月28日 12:58/ 0 赞/ 254 阅读

相关关于PWA落地问题的思考

PWA是最近一个热门话题，很多开发同学都在尝试落地，其中也有些还在犹豫。这篇文章主要阐述对几个问题的看法，供大家参考。注: 这不是一篇介绍PWA的文章。简而言

梦里梦外;/ 2022年06月18日 02:59/ 0 赞/ 257 阅读

相关对落地DevOps理念的一些反思

https://mp.weixin.qq.com/s?\_\_biz=MzIzNjUxMzk2NQ==&mid=2247485655&idx=1&sn=227ace14488e

梦里梦外;/ 2022年06月05日 06:08/ 0 赞/ 226 阅读

相关 iOS应用模块化的思考及落地方案（一）模块的划分及模块化工作流程

1.0 什么是模块化很多关于`重构`及`设计模式`的介绍中，经常提到的几个词语是`复用`及`解耦`。模块化之所以被提出，也更多是为了解决这几个问题。 `复用`可以

墨蓝/ 2022年01月20日 01:15/ 0 赞/ 486 阅读

相关大数据落地必要可视化

　　“在互联网+的大配景下，新奥能源正在思索将来经管的模式以及公司战略进级的偏向。我们必要打造出基于大数据驱动的智能运营系统，议决持续的大数据办理和大数据应用迭代，推动公司经管

川长思鸟来/ 2022年01月17日 15:33/ 0 赞/ 274 阅读

相关安卓组件化化落地

学习很多组件化方案，终归要coding，才有意义。我将我认识到技术综合运用写出一篇参考的是苍王的书《组件化开发》和guiying 的博客https://blog.csdn.

Love The Way You Lie/ 2022年01月12日 05:27/ 0 赞/ 229 阅读

相关安全产品研发与落地的一些方法与思考

一、读前必看 1、写这篇文章的心理动机工作几年的时间里一直在从事技术相关的工作，自己闲暇之余和工作经历经常会有脉脉上所说的工作如同拧螺丝一样的工作。从个人角度的很长时

ゝ一世哀愁。/ 2021年07月28日 11:45/ 1 赞/ 481 阅读

相关【转】AB实验设计思路及实验落地 ABtest不平衡

[来源][Link 1] [ABtest不平衡解决办法][ABtest] [【转】AB实验设计思路及实验落地][AB] > 这篇文章会讨论： > > 1. 在

妖狐艹你老母/ 2021年06月11日 15:14/ 0 赞/ 903 阅读