从Crop、Warp开始讨论RoIPooling与RoIAlign的区别

「爱情、让人受尽委屈。」 2022-11-22 12:40 159阅读 0赞

# 在faster rcnn的基础上理解，在已经检测到候选前景框的情况下使用RoIPooling（Crop或者RoIWarp或者RoIAlign）实现尺寸统一化，然后将统一化尺寸的特征图送入后续的RCNN进行分类和回归 #

解释下为什么需要尺寸统一化：在卷积神经网络中，如果使用到了全连接层，**那么在全连接前一层的特征图尺寸必须固定**，不然你想呀，从一个特征图到全连接层的这一步的参数该怎么确定呢？由于这个参数的限制，而且实际输入卷积网络的图片尺寸不固定，所以就需要将特征图尺寸固定。

## **一、**Crop和RoIWarp ##

1. Crop，顾名思义就是将原始大尺寸的特征图crop为指定尺寸的特征图；

2. RoIWarp，就相当于将目标尺寸放缩成指定尺寸的特征图。

为什么一般不用这两种方式？

两种办法的示意图如下图所示，可以看到无论采取那种办法都不好，**要么crop后破坏了图像的完整结构，要么warp破坏了图像原始形状信息**。回忆RPN网络生成的proposals的方法：对foreground anchors进行bound box regression，那么这样获得的proposals也是大小形状各不相同，即也存在上述问题。所以***Faster RCNN中提出了RoI Pooling*解决**这个问题（需要说明，RoI Pooling确实是从SPP发展而来，但是限于篇幅这里略去不讲，有兴趣的读者可以自行查阅相关论文）。

但是从maskrcnn文中可以看出，RoIWarp的结果还是要比RoIpooling要好，感觉还是由于RoIpooling损失的精度太多了导致的，具体如何损失请看下面的RoIpooling。

![20181114103818811.jpeg][]

## **二、RoIPooling与RoIAlign** ##

### **1.1、RoIPooling** ###

通过对[Faster RCNN][]的学习我妈了解的RolPooling可以使生成的候选框region proposal映射产生固定大小的feature map

先贴出一张图，接着通过这图解释RoiPooling的工作原理

![2484de39e27e4e5dccfa892f20356839.png][]

针对上图

1)Conv layers使用的是VGG16，feat\_stride=32(即表示，经过网络层后图片缩小为原图的1/32),原图800\*800,最后一层特征图feature map大小:25\*25

2)假定原图中有一region proposal，大小为665\*665，这样，映射到特征图中的大小：665/32=20.78,即20.78\*20.78，如果你看过Caffe的Roi Pooling的C++源码，在计算的时候会进行取整操作，于是，进行所谓的第一次量化，即映射的特征图大小为20\*20

3)假定pooled\_w=7,pooled\_h=7,即pooling后固定成7\*7大小的特征图，所以，将上面在 feature map上映射的20\*20的 region proposal划分成49个同等大小的小区域，每个小区域的大小20/7=2.86,即2.86\*2.86，此时，进行第二次量化，故小区域大小变成2\*2

4)每个2\*2的小区域里，取出其中最大的像素值，作为这一个区域的‘代表’，这样，49个小区域就输出49个像素值，组成7\*7大小的feature map

总结，所以，通过上面可以看出，经过两次量化，即将浮点数取整，原本在特征图上映射的20\*20大小的region proposal，偏差成大小为14\*14的，这样的像素偏差势必会对后层的回归定位产生影响

所以，产生了替代方案，RoiAlign

### **1.2、RoIAlign** ###

这个是在Mask RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map时提出的

先贴出一张图，接着通过这图解释RoiAlign的工作原理

![44b8791ea1dc13f9c15ab601395221d1.png][]

同样，针对上图，有着类似的映射

1)Conv layers使用的是VGG16，feat\_stride=32(即表示，经过网络层后图片缩小为原图的1/32),原图800\*800,最后一层特征图feature map大小:25\*25

2)假定原图中有一region proposal，大小为665\*665，这样，映射到特征图中的大小：665/32=20.78,即20.78\*20.78，此时，没有像RoiPooling那样就行取整操作，保留浮点数

3)假定pooled\_w=7,pooled\_h=7,即pooling后固定成7\*7大小的特征图，所以，将在 feature map上映射的20.78\*20.78的region proposal 划分成49个同等大小的小区域，每个小区域的大小20.78/7=2.97,即2.97\*2.97

4)假定采样点数为4，即表示，对于每个2.97\*2.97的小区域，平分四份，每一份取其中心点位置，而中心点位置的像素，采用**双线性插值法（下面介绍）**进行计算，这样，就会得到四个点的像素值，如下图

![87155fd5e75378f306276b6a9197a5b8.png][]

上图中，四个红色叉叉‘×’的像素值是通过双线性插值算法计算得到的

最后，取四个像素值中最大值作为这个小区域(即：2.97\*2.97大小的区域)的像素值，如此类推，同样是49个小区域得到49个像素值，组成7\*7大小的feature map。

上面说到双线性插值法，那么什么是双线性插值法呢？

## 二、双线性插值法（图像插值法） ##

### **2.1、为什么要用双线性插值法** ###

在图像的放大和缩小的过程中，需要计算新图像像素点在原图的位置，如果计算的位置不是整数，就需要用到图像的内插，我们需要寻找在原图中最近得像素点赋值给新的像素点，这种方法很简单是**最近邻插法，**这种方法好理解、简单，但是不实用，会产生是真现象，产生棋盘格效应，更实用的方法就是**双线性插值法。**

### **2.2、一维线性插值** ###

![Center][]

我们已经知道（x0，y0）与（x1, y1）的值，并且已知 x 的值，要求 y 的值。根据初中的知识：

我们可以得到:![Center 1][].

令：![Center 2][]

则：![Center 3][]

### **2.3、双线性插值法的推导过程** ###

双线性插值是做了二次一维的线性插值，我们用四个最近邻估计给定的灰度。我们新图像的像素点对应输入图像的（u0 , v0）(u0,v0不是整数)，则其必定落在原始图像四个像素点中间。四个像素点分别是（u' , v' ）、（u' , v' +1）、（u'+1 , v' ）、（u' +1, v'+1 ）。如下图1所示：

![Center 4][]图一![Center 5][]图二

![Center 6][]图三![Center 7][]图四

如图2所示：在红色平面内，在红色平面内，只有u' 是变量，v' 是常值，连线 g(u' , v' )、 g(u'+1 , v' )，相当于做一次一维线性插值，求出 g(u0, v' )的值。同理，如图3中，在蓝色的平面内我们可以再做一次一维线性插值，求出g(u0, v' +1)的值。同理如图4，在黑色的平面内，我们可以求出(u0, v0)对应的值g(u0, v0)的值。（双线性插值就是分别在 u、v方向上做线性插值）数学推导过程如下：  
![Center 8][]

## **三、总结** ##

**知道了RoiPooling和RoiAlign实现原理后，在以后的项目中可以根据实际情况进行方案的选择；对于检测图片中大目标物体时，两种方案的差别不大，而如果是图片中有较多小目标物体需要检测，则优先选择RoiAlign，更精准些。**

[20181114103818811.jpeg]: /images/20221120/1fcca91525c2487587121e2a4d380e2f.png
[Faster RCNN]: https://blog.csdn.net/kk123k/article/details/86554226
[2484de39e27e4e5dccfa892f20356839.png]: /images/20221120/10cb4f2b6d164434b8c6dcc0d0f20135.png
[44b8791ea1dc13f9c15ab601395221d1.png]: /images/20221120/57ae2f84462642f0853f7ec3af52e26d.png
[87155fd5e75378f306276b6a9197a5b8.png]: /images/20221120/e8138e1bf2ca4b2d9ddae1ce47c8e163.png
[Center]: /images/20221120/c46a80f88c984a99816972cd3eab3165.png
[Center 1]: /images/20221120/062a5796d13a4c2ab00f844656e28f38.png
[Center 2]: /images/20221120/f2e48755586d427abbb5411a11f19c57.png
[Center 3]: /images/20221120/3bf8ee0f0ed64139835f4c9fe22bd02f.png
[Center 4]: https://img-blog.csdn.net/20170225145826311?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxMzM1NTgyNg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 5]: /images/20221120/ad24b7c5e3664b4fa0625e5835309739.png
[Center 6]: https://img-blog.csdn.net/20170225150513869?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxMzM1NTgyNg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 7]: /images/20221120/de8d641a9a23471ab28c9b8dce26035e.png
[Center 8]: /images/20221120/9784b07db53549d7ba3f1aff55cad6d4.png