Fast R-CNN

布满荆棘的人生 2022-10-06 05:58 8阅读 0赞

### Fast R-CNN ###

### 文章目录 ###

*   *   *  Fast R-CNN
         *   *  1 Introduction
             *   *  1.1 R-CNN and SPPnet
                 *  1.2 contributions
             *  2 Fast R-CNN architecture and training
             *   *  2.1 The RoI pooling layer
                 *  2.2 Initializing from pre-trained networks
                 *  2.3 Fine-tuning for detection
                 *  2.4 Scale invariance
             *  3 Fast R-CNN detection Once
             *   *  3.1. Truncated SVD for faster detection
             *  参考链接：

#### 1 Introduction ####

*  当下的背景
    
     *  多尺度卷积方式慢且效果不佳～
     *  两个挑战是：
        
         *  众多的候选框待处理
         *  候选框的坐标不准
     *  solution通常与 速度、精度、简单程度相妥协

##### 1.1 R-CNN and SPPnet #####

*  R-CNN的缺点
    
     *  **Training is a multi-stage pipeline.**
        
         *  finetunes一个预训练网络
         *  每个类都有一个SVM分类器
         *  第三阶段的训练会用regressors对boundingbox进行回归
     *  **Training is expensive in space and time.**
        
         *  训练十分耗费空间和时间（每张图片都目标框都写回硬盘，这个过程计算量大且耗时）
     *  **Object detection is slow.**
        
         *  速度慢：it performs a ConvNet forward pass for each object proposal, without sharing computation，即没有共享卷积（fast RCNN解决了，一张图片卷积一次，然后目标框映射取对应部分即可）
 *  SPPnet通过特征共享，使得测试时间得到几十倍对提升（被fast RCNN沿用），但是训练任然是多步骤

##### 1.2 contributions #####

*  Fast R-CNN优点如下：
    
     *  高mAP
     *  训练是一步完成，用的multi-task loss
     *  训练可以更新整个模型参数
     *  没有存储需求（意味着训练的空间要求更加小）

#### 2 Fast R-CNN architecture and training ####

*  输入：entire image and a set of object proposals
 *  结构：
    
     *  ![image-20210402184137093][]
     *  首先是卷积层，得到feature map
     *  然后候选框经过RoI pooling layer（并从feature map中得到相应的特征向量），输出到RoI feature vector
     *  分支，分别经过两个全链接，一个输出softmax（输出类），一个输出bbox regressor（输出框位置）

##### 2.1 The RoI pooling layer #####

*  RoI pooling layer 用**maxpooling** 将RoI中的feature 转换到小的feature map中
 *  这篇paper中的RoI定义为(r, c, h, w) ，rc为左上角，hw为高和宽
 *  先定义H × W的 grid，然后将hxw的图片分成这么多的grid，之后用max pooling

##### 2.2 Initializing from pre-trained networks #####

*  最后一层被替换成RoI pooling layer，通过配置H和W去兼容第一个全链接层
 *  最后一个全链接层和softmax层被替换为全链接+softmax以及 全链接+bbox regressor（类+框位置）
    
     *  因为softmax可用于输出分类，但由于我们需要同时做softmax和bbox regression所以需要修改
 *  输入可以为：a list of images and a list of RoIs in those images

##### 2.3 Fine-tuning for detection #####

*  可以通过反向传播来更新参数
    
     *  为何SPPNet不行？——反向传播效率极其低下（每个RoI都可能有很大的接受域）
     *  在Fast R-CNN中，对于同一张图片的前向传播和反向传播，共享计算结果和内存
 *  **Multi-task loss**：
    
     *   L ( p , u , t u , v ) = L c l s ( p , u ) + λ \[ u ≥ 1 \] L l o c ( t u , v ) L(p,u,t^u,v) = L\_\{cls\}(p,u) +\\lambda\[u \\geq 1\] L\_\{loc\}(t^u,v) L(p,u,tu,v)=Lcls(p,u)\+λ\[u≥1\]Lloc(tu,v)
     *   L c l s ( p , u ) = − l o g P u L\_\{cls\}(p,u) = -logP\_u Lcls(p,u)=−logPu
     *   \[ u ≥ 1 \] = = = = = 》 1 i f u ≥ 1 e l s e 0 \[u \\geq 1\] =====》1 \\quad if \\quad u \\geq 1 \\quad else \\quad 0 \[u≥1\]=====》1ifu≥1else0
     *  
     *   L l o c ( t u , v ) = ∑ i ∈ \{ x , y , w , h \} s m o o t h L 1 ( t i u − v i ) L\_\{loc\}(t^u,v) = \\sum\_\{i \\in \\\{x,y,w,h\\\}\} smooth\_\{L1\}(t^u\_i-v\_i) Lloc(tu,v)=i∈\{ x,y,w,h\}∑smoothL1(tiu−vi)
     *   s m o o t h L 1 ( x ) = ( 0.5 x 2 i f ∣ x ∣ < 1 ∣ x ∣ − 0.5 o t h e r w i s e ) smooth\_\{L1\}(x) = \{0.5x^2 \\qquad if |x|<1 \\choose |x|-0.5 \\qquad otherwise\} smoothL1(x)=(∣x∣−0.5otherwise0.5x2if∣x∣<1)
     *  ![image-20210405152920073][]
 *  **Mini-batch sampling**：每张图片采样64个RoI，并抽取25%，IoU>0.5为正样本，\[0.1,0.5)为负样本（背景）
 *  **Back-propagation through RoI pooling layers**：对每个图像输入等分成7份，然后对每一块进行max pooling,回归公式如下：
    
     *   ∂ L ∂ x i = ∑ r ∑ j \[ i = i ∗ ( r , j ) \] ∂ L ∂ y r j \\frac\{∂L\}\{∂x\_i\} = \\sum\_r\\sum\_j\[i=i^\*(r,j)\]\\frac\{∂L\}\{∂y\_\{rj\}\} ∂xi∂L=r∑j∑\[i=i∗(r,j)\]∂yrj∂L
     *   y r j = x i ∗ ( r , j ) y\_\{rj\} = x\_\{i\*(r,j)\} yrj=xi∗(r,j)
        
         i ∗ ( r , j ) = a r g m a x i ′ ∈ R ( r , j ) x i ′ i\*(r,j) = argmax\_\{i^\{'\}\\in R(r,j)\}x\_\{i^\{'\}\} i∗(r,j)=argmaxi′∈R(r,j)xi′
     *  以下为个人目前的理解：
        
         *   R ( r , j ) 是 子 窗 口 中 包 含 y r j 的 m a x \_ p o o l 的 索 引 集 合 ， 于 是 i ∗ ( r , j ) 就 是 对 这 些 值 的 x 求 了 个 a r g m a x 。 然 后 ， 由 于 f e a t u r e \_ m a p 周 的 某 个 值 x i 可 能 一 次 不 止 被 S S 法 选 为 候 选 框 ， 于 是 可 能 有 多 个 y r j （ 就 是 属 于 恰 好 重 叠 且 恰 好 通 过 了 r o i \_ p o o l i n g ） R(r,j)是子窗口中包含y\_\{rj\}的max\\\_pool的索引集合，于是i\*(r,j)就是对这些值的x求了个argmax。然后，由于feature \\\_ map周的某个值x\_i可能一次不止被SS法选为候选框，于是可能有多个y\_\{rj\}（就是属于恰好重叠且恰好通过了roi\\\_pooling） R(r,j)是子窗口中包含yrj的max\_pool的索引集合，于是i∗(r,j)就是对这些值的x求了个argmax。然后，由于feature\_map周的某个值xi可能一次不止被SS法选为候选框，于是可能有多个yrj（就是属于恰好重叠且恰好通过了roi\_pooling）
     *  在反向传播中，偏导数![image-20210611173346619.png][]已经由RoI池层顶部的层的向后函数计算出来
 *  **SGD hyper-parameters**:随机梯度下降参数配置，所有层使用每一层的权重学习率为1，偏差学习率为2，全局学习率为0.001。

##### 2.4 Scale invariance #####

*  （尺度不变的）两种方法：
    
     *  via “brute force” learning
        
         *  每张图都被一个预定义的pixel（像素）加工（training and test 都是这样）
         *  因此网络必须在training的时候直接学习到Scale invariance
     *  by using image pyramids.
        
         *  provide a approximate（近似）的Scale invariance（testing）
         *  在 multi-scale training期间，可作为一个数据增强（data argumentation）的方式

#### 3 Fast R-CNN detection Once ####

*  模型的输入是：image和R object proposals（我理解成待选框），其中R在testing的时候一般是2000左右，使用image pyramid（图像金字塔）后，RoI大小接近2242 pixels（像素点）
 *  对于每个test RoI，会输出：
    
     *  类别的概率分布
     *  预测框的相对偏移
 *  使用![image-20210405215542949.png][]计算置信度，然后采用NMS进行筛选

##### 3.1. Truncated SVD for faster detection #####

*  ![image-20210405220234455][]
 *  从上图可以看到用了SVD之后，可以在mAP基本不变的情况下将推理速度提升100ms，其中加速比较明显的部分有：fc6、roi\_pool5、fc7（fc=full connected layer）
    
     *  SVD=奇异值变换：W ≈ UΣtVT
        
         *  ![image-20210406101706328.png][]
     *  求解：
        
         *  ![image-20210406115916519][]
         *  相关讲解：https://www.bilibili.com/video/BV16A411T7zX

#### 参考链接： ####

*  [RoI pooling layer解读][RoI pooling layer]
 *  [Fast RCNN论文的概括理解][Fast RCNN]
 *  [Fast\_RCNN解读][Fast_RCNN]
 *  [什么是奇异值分解SVD–SVD如何分解时空矩阵][SVD_SVD]

[image-20210402184137093]: /images/20221005/26447ce860be4b4e83ddd30fb0d4e9c3.png
[image-20210405152920073]: /images/20221005/00fd2c346d704df8b4644148882fe741.png
[image-20210611173346619.png]: /images/20221005/0fbb8369422c40f082105f0a936a99e6.png
[image-20210405215542949.png]: /images/20221005/721c5c11b0874d448aea2f2157fe3437.png
[image-20210405220234455]: /images/20221005/be6fc72e097342618a001c796bd583b9.png
[image-20210406101706328.png]: /images/20221005/6d23f44d1ca5480da6af524a0d0bafe8.png
[image-20210406115916519]: /images/20221005/708b3bf0cfa94adfa65db26d14ff2373.png
[RoI pooling layer]: https://blog.csdn.net/xunan003/article/details/86583563
[Fast RCNN]: https://blog.csdn.net/csdnbaiduyun/article/details/81239454
[Fast_RCNN]: https://zhuanlan.zhihu.com/p/61611588
[SVD_SVD]: https://www.bilibili.com/video/BV16A411T7zX