CNN系列笔记（六）——R-FCN

布满荆棘的人生 2022-02-16 00:23 501阅读 0赞

**原文：R-FCN**：[https://arxiv.org/abs/1605.06409][https_arxiv.org_abs_1605.06409]

**Github链接**：[https://github.com/daijifeng001/r-fcn(https://github.com/daijifeng001/r-fcn)][https_github.com_daijifeng001_r-fcn_https_github.com_daijifeng001_r-fcn]

#  #

# R-FCN:Object Detection via Region-based Fully Convolutional Networks #

## 1、简介 ##

比较流行的关于目标检测的深度网络可以通过ROI( Region-of-Interest) pooling layer分成两个子网络:

--------------------

**1.** a shared,“ fully convolution” subnetwork independent of rols.(独立于RoI的共享的、全卷积的子网络)   
　 **2.** an Rol-wise subnetwork that does not share computation.(不共享计算的ROI-wise子网)

--------------------

这种分解来源于较早之前的分类框架,例如: ***AlexNet和VGGNet**s*,他们由两个子网组成,**一个是以 spatial pooling layer(空间池化层)结束的卷积子网,其后是若干个 fully-connected layers(全连接层)**。因此,在图片分类网络中的 spatial pooling layer很自然的在本实验中被转变成了物体检测网络中的 ROI pooling layer。   
　　但是最近最先进的图片分类网络,例如***残差网络( ResEts)和 GoogLeNets*****都是用全卷积设计的**。通过分析,**使用所有的卷积层去构建一个进行目标检测的共享的卷积网络而不把 ROI-wise子网作为隐藏层( hidden layer)是一件十分自然的事**。然而,通过实证调查,这个方案的**检测精确度极低,以至于无法提高网络的分类精确度**。为了解决这个问题,在残差网络( Resnet)\[9\]文献中,ROI pooling layer of the Faster r- cnn detector很不自然的被插进了两组卷积层从而创造了一个更深的 ROI-wise子网来提高准确度,但是由于每个Ro的计算不共享,因此速度会比原来的要慢。   
　　我们认为上述不合理的设计是由**图片分类中増长的平移不变性**与目标检测中的平移变换性之间的矛盾引起的。一方面,图像级别的**分类任务侧重于平移不变性**(在一幅图片中平移一个物体而不改变它的判别结果),因此深度全卷积网络结构在尽可能保持平移不变性是最好的,通过在 ImageNet classification上的良好表现得以证明。    
![这里写图片描述][70]

Figure1:基于RFCN的物体检测核心思想。在本插图中,通过全卷积网络产生一个k\* k=3\*3的 position- sensitive score maps（位置敏感分数图）。对于每一个在RoI中的k×k个bins, pooling仅仅在k^2个maps中的其中一个呈现(通过不同的颜色进行标记)

另一方面,**目标检测任务需要位置表示,从某种程度上说是平移可变换的**(translation-variant）。例如,平移一个候选框里的物体应该产生一个有意义的反馈,用来描述候选框和物体的重叠程度。我们假定在图片分类网络中,卷积层越深,对平移越不敏感。为了解决这个两难境地(图片分类中的平移不变性和目标检测中的平移变换性),在 ResNet文献\[\]中的检测算法中插入了 ROI pooling layer到卷积层——这个区域特异性操作破坏了平移不变性,而且当评估不同区域时,post-Rol卷积层不再是平移不变的了。然而**这种设计牺牲了训练和测试的效率,因为它引入了大量的区域层（ region-wise layers(TabIe1)。**

在本篇文献中,我们开发出了一个称之为R-FCN( Region- based Fully Convolution Network)的框架来用于目标检测。我们的网络由共享的全卷积结构组成,就像FCN\[15\]一样。为了把平移变换特性融合进FCN中,我们通过利用一堆**特征化的卷积层作为FCN**的输出来创建一个 position-sensitive score maps(位敏得分地图),每个得分图对相对空间位置信息进行编码。在FCN的顶层,我们附加了一个 ***position-sensitive Roi pooling layer***来统领这些得分地图的信息,这些***得分地图不带任何权重层(卷积层或全连接层)***。整个结构是端对端(end- to-end)的学习。所有可学习的层在整幅图片中都是可卷积的并且可共享的,并且仍然可以编码空间位置信息用于目标检测。Figure1说明了这个核心思路( key idea), Table1比较了区域检测的各种算法

Table1:使用 ResNet-101\[\]的 region- based detectors方法   
![这里写图片描述][70 1]

使用101层的 Residua|Ne9作为主干,我们的RFCN在 PASCAL VOC2007测试集上达到了836%的mAP,在2012测试集上达到了820%的mAP。同时,我们的结果实现了170ms/每张图片的速度,比 Faster r-cnn+ ResNet-1019快了25~20倍。这个实验结果说明了我们的方法成功的解决了基于全卷积网络的图像级别的分类问题中的平移不变性和平移变换性之间的矛盾,全卷积图像级别分类器,比如 ResNet,能够被有效的转换成全卷积目标检测器。详细的代码参见:[https://github.com/daijifeng001/r-fcn][https_github.com_daijifeng001_r-fcn]

## 2、我们的方法 ##

### Overview(概览) ###

对于下面的RCN,我们采用了流行的二级的目标检测策略: ***region proposal和 region classification***。尽管不依赖于region proposa的方法确实存在(比如\[17\]\[14\]), region-bases system(基于区域的系统)在一些 benchmark\[6\]\[13\]\[20上仍然具有最好的准确率。我们**通过region proposal Network(RPN)来抽取候选区域**,它自身是一个全卷积结构。接下来\[18\],我们**在RPN和R-FCN中共享这些特性**。 Figure2展示了整个系统的概览

![这里写图片描述][70 2]

Figure2:RFCN的整体架构。 Region proposal Network(RPN产生候选Rol,然后Rol会被应用于得分地图。所有可学习的权重层在整幅图片中都是可卷积的并且是可计算的。每个Rol的计算开销都是可以忽略的

![20190421120618322.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70][]

考虑到 proposal region,R-FCN结构用来将ROI分类为各种物体和背景。在R-FCN中,所有可学习的权重层都是可卷积的并且是在整幅图片中进行计算。**最后一个卷积层产生一堆**K^2个针对于每一个物体类别的 **position-sensitive score maps**。因此有**k\*k(C+1)个通道输出层(C个物体目录项+1个背景)**。这K^2个得分地图对应于用来描述相对位置的KxK空间网格。例如,对于K×K=3×3,这9个得分地图将物体类别编码为9种情况(top-lef, top-center, top-rigth,…,bottom-right)。

**关于敏感区域分数图详见：[解读R-FCN的position-sensitive score map][R-FCN_position-sensitive score map]**

R-FCN以 position-sensitive Rol pooling layer作为结束层。他将最后一个卷积层的输出结果聚集起来,然后产生每一个ROI的得分记录。和\[8\]\[6\]不同,我们的 position- sensitive Rol layer产生的是 ***selective pooling***,并且**KxK容器的每个条目仅仅聚集来自KxK得分地图堆里面的一个得分地图的响应**。通过端对端的训练,***ROI层带领最后一层卷积层去学习特征化的 position-sensitive score maps***。Figure1说明了这个过程。 Figure3, Figure4是两个可视化的例子。本算法的具体细节介绍参见后面的条目。   
　　![这里写图片描述][70 3]

**                                             Figure4:可视化例子:Rol与物体没有完全覆盖**

--------------------

### \* R-FCN的核心操作 ###

RPN中的ROI就是region proposal。另外Faster RCNN中的ROI Pooling和本文的ROI Pooling不是一个意思，前者只是简单将每个region feature变换到统一的尺寸的feature，变换过程中采用Max pooling；而后者则是一种position-sensitive的ROI Pooling。

### \* Backbone architecture(主干架构) ###

本篇文献中的R-FCN算法是***基于 ResNet-101***\[9\]的,虽然其他的深度学习网络\[10\]\[23\]也可以应用。 **RstNet-101有100个带gobal average pooling的卷积层,有一个1000级的f层( fully-connected)。我们去掉了 average pooling和 fc layer, 然后只使用卷积层来计算特征图**。我们利用作者***\[9\]发布的 ResNet-101,在Image Net\[20\]上进行预训练***。***在 ResNet-101中,最后一个卷积块是2048-d(2048维度)我们附加了一个******随机初始化******的1024-d的1×1的卷积层来降低维度(更精确的,我们增加了卷积层的深度),然后我们使用了一个k\*k(C+1)个通道的特殊卷积层来***生成k\*k \* (C+1)维的Position-sensitive score map\_1。其中的C是要分类的类别数，加上1表示加上一个背景分类；k\*k是之后的ROI Pooling中对ROI（region proposal）区域要划分的小格数，比如论文中k=3就是对ROI在长宽方向各三等分形成9个小区域。

Position-sensitive score map的值对ROI相对于原图的位置移动很敏感。图中最后一个特殊卷积输出Position-sensitive score map\_后，就要对其做ROI Pooling了，和Faster R-CNN中的ROI Pooling一样，要对score map\_1上某个ROI对应部分9个小区域分别进行pooling，每个小区域只会在对应的(C+1)个维度上作pooling，得到1\*1\*（C+1）的向量，即原来的ROI的一个面pool成了一个点，比如ROI左上角的区域就在前C+1个维度上pooling，左中位置的区域就在C+２到２C+２间的维度上作pooling，以此类推。**pooling后输出的是C+1维度的k\*k个列向量，每个维度（对应一个类别）上的k\*k个数据（对应这k\*k部分是否都含有目标的一部分）再加到一起(图２的vote过程)形成C+1个单点数据，及对应类别的类别概率**。对于目标定位的输出和上面的分类输出过程类似，只是维度不再是k\*k \* (C+1)，而是k\*k\*4，表示９个小区域的［dx,dy,dw,dh］4个偏移坐标。

### Position-sensitive socre maps position-sentitive rol pooling ###

为了在每个ROI中明确编码位置信息,我们通过一个规则网格把每个ROI分成K×K个bins。对于Wxh的Ro区域,每一个bin的大小≈W/k×h/k\[8\]6\]。在我们的方法中,最后一个卷积层是被用来为每个类别产生K\*K个得分地图的。在第i行第j列的bin(0≤i,j≤k-1)中,我们定义了一个 position- sensitive Rol pooling操作,仅仅将结果汇集到在第(i,j)个得分图上:

![70 4][] 　　   
　　在这个公式中:rc(i,j)是针对于第c个目录的第(i,j)个bin的 pooled response;zi,j,c,是K\*K(C+1)个得分地图中的其中一个地图;(x,y)表示Ro的左上角;n表示bin中像素的个数;theta表示网络中的所有可学习的参数。第(i,j)个bn的范围是   
![这里写图片描述][70 5]

关于上述等式,在 Figure1中有解释,其中一个颜色代表一个(i,j)对。上述等式使用的是 average pooling(我们整篇文献使用的都是这个)当然 max pooling也有很好的表现。

这K^2个得分图用来对ROI区域进行投票,在这篇文献中,我们仅仅通过平均得分进行投票,对于每个RoI产生(C+1)维的向量:

![这里写图片描述][70 6]

然后我们计算了每一个目录项的softmax响应：

![这里写图片描述][70 7]  
　　在训练和在推理中对RoI评级的时候,他们被用来估计交叉熵损失(cross-entropy）。   
　　进一步的,我们用相似的方法定位了边界框回归\[\]\[6\]( bounding boxregression)。除了上面的k\*k(C+1)个卷积层,我们附加了一个4k\*k个卷积层用于边界框回归。 Position- sensitive rol poo|ing在4k\*k的map中执行,对于每一个Rol产生一个4k\*k维的向量,然后通过平均投票被聚合为一个4维向量。这个4维向量用t=(1,2,3,4)参数化一个边框\[6\]。需要注意的是,为了简单起见我们利用的是类别无关的边界框回归,但是对应的特殊类别也是可使用的(比如,一个4k\*k个输出层)。   
　　Position- sensitive score maps有一部分的灵感来自于实例级的语义分割FCNS\[3\]。进一步的,我们引入了 position-sensitive Rol pooling layer来统领物体检测得分图的学习。在ROI层之后,由于没有可学习的层,所以能够进行几乎无代

--------------------

# R-FCN 算法具体步骤： #

网络结构：首先输入图像经过一个全卷积网络（比如ResNet），然后一方面在最后一个卷积层后面添加特殊的卷积层（控制feature map的维度）生成position-sensitive score map的备用特征图，另一方面全卷积网络的某个卷积层（可能是最后一个卷积层）输出作为RPN网络的输入，RPN网络最后生成ROI。最后的ROI Pooling层将前面的socre map和ROI作为输入（在备用特征图中找到roil对应区域进行ROI Pooling，其本质是对特选部分平均池化），得到score map，取平均后输出类别信息。另外回归部分和分类部分是并列的。

（1）首先，选择一张需要处理的图片，并对这张图片进行相应的预处理操作；

（2）接着，我们将预处理后的图片送入一个预训练好的分类网络中（这里使用了ResNet-101网络的Conv4之前的网络），固定其对应的网络参数；

（3）接着，在预训练网络的最后一个卷积层获得的feature map后存在3个分支：

1）第1个分支就是在该feature map上面进行RPN操作，获得相应的ROI位置信息；

2）第2个分支是在该ROI对应的feature map上获得一个 K\*K\*（C+1）\*原面积 维的position-sensitive score map；

3）第3个分支在该ROI对应的feature map上获得一个 4\*K\*K\*原面积 维的位置敏感得分映射；

（4）最后，在深度为K\*K\*（C+1）维的分类score map\_1和深度为4\*K\*K维的定位score map\_1上面分别执行Position-Sensitive ROI pooling操作（这里使用的是平均池化操作），分别得到分类和定位的score map\_2，再分别进行VOTE取均值化三维张量为列向量，最后通过softmax函数和计算offset分别获得对应的类别和位置信息。

position-sensitive score map中的每个 (k\*k\*(C+1))\*n\*n 大小的ROI进行ROI pooling后会得到k\*k\*(C+1)大小的输出，这个输出进行vote操作得到C+1维的输出，这个vote操作就是一个均值操作。最后再连接一个softmax层输出每一类的概率。回归支路和分类支路类似，只不过接的卷积层的卷积核数量不是k^2(C+1)而是4\*k^2（代码中采用的是4\*2\*k^2），因此在经过position-sensitive Roi Pooling后得到4\*k\*k维度的输出，再经过vote操作得到4\*1\*1的输出，表示预测的bbox坐标offset。  
\---------------------   
版权声明：本文为CSDN博主「图像所浩南哥」的原创文章，遵循CC 4.0 by-sa版权协议，转载请附上原文出处链接及本声明。  
原文链接：https://blog.csdn.net/Gentleman\_Qin/article/details/84846244

--------------------

**Training(训练)**

在预先计算了 region proposals之后,端对端地训练R-FCN结构是非常简单的接下来\[6\],我们的损失函数( loss fuction)定义为在每个RoI上的交叉熵损失(cross-entropy loss)和边界回归损失( box regression loss)的总和:

![这里写图片描述][70 8]

上式中,c\*是Rol的 ground-truth labe(c\*=0表示的是背景)。Lcls(Sc\*)是用于分类的交叉熵损失函数( cross-entropy loss);   
Lneg是边界回归损失函数( bounding box regression loss)如\[6中定义的一样;t\*表示 ground truth box;\[c\*>0\]指示的是,如果参数为真,则等于1,否则为0。我们设置平衡权重=1\[6\]。当RoI与实际边框的重叠部分至少有0.5的IOU时,那么我们认为是 positive examples,否则是 negative example。

在训练时,在我们的方法中采用OHEM( online hard example mining)是非常容易的。每个可忽略的Ro区域计算使得样例挖掘( examp| e mIning)是 cost-free的。假定每张图片有N个 proposals,在前向传播时,我们估算所有N个 proposals的损失。然后我们对所有RoI按照损失进行排序,然后挑选B个具有最高损失的ROl。 Backpropagation(反向传播算法)是基于选择的样例来演算的。因为我们的每个ROI的计算都是近似可以忽略的,所以 forward time基本上不会受N的影响。而 OHEM Fast r-CNN\[22\]可能是会花费双倍的训练时间。在Table3中,我们提供了一个详细的时间数据。   
　　这里是一个训练教程：

[1、深度学习入门篇--手把手教你用 TensorFlow 训练模型（][1_--_ TensorFlow][https://www.cnblogs.com/qcloud1001/p/7677661.html）][1_--_ TensorFlow]

2、怎样调用预训练好的网络（Alex, VGG, ResNet etc）：[https://blog.csdn.net/helei001/article/details/53159690][https_blog.csdn.net_helei001_article_details_53159690]

3、VGG、ResNet、GoogleLeNet、AlexNet等常用网络代码及预训练模型：[https://blog.csdn.net/hereiskxm/article/details/61916676][https_blog.csdn.net_hereiskxm_article_details_61916676]

### Inference(测试) ###

正如 Figure2描述的,RPN和R-FCN共享的特征图( feature maps)被计算(在个单尺度为600的图像上)。然后RPN模块选择出了Ro,而R-FCN模块评估了catagogy-wise scores(针对于每一个物体项的得分)和 regresses bounding boxes。在测试阶段,我们评估了\[181中的300个Ro区域,进行了公平的比较。结果通过non- maximum suppression(NMS)来进行后期处理,使用了0.3IOU\[7\]的阈值,作为标准练习。

### A trous and stride (多孔算法和步长） ###

我们的全卷积网络架构是在用于语义分割的FCN基础上进行修改的，并享有它的好处。特别的，我们将ResNet-101的有效stride从32像素减少到16像素，从而增加了得分图分辨率。在conv4之前的所有层（包括conv4)(步长为16) 保持不变；在第一个conv5块的stride=2改为stride=1;在conv5阶段的所有 的卷积滤波都被“hole algorithm进行修 改，用来补偿步长的减小。为了公平的比较，RPN是在conv4阶段的顶层(和 R-FCN共享)进行计算的，正如在\[9\]中使用FasterR-CNN一样，所以RPN没有被会 trous trick影响。下表显示的是 R-FCN 的结果。（KxK = 7x7, no hard example mining) trous trick将mAP提高了2.6个点。

![这里写图片描述][70 9]

### Visualization (可视化） ###

在Figure 3和Figure 4中，我们展示了当KxK = 3x3时，通过R-FCN学习到的 position-sensitive score maps。这些特征地图受到物体的具体相对位置的强烈影 响。例如：“top-center-sensitive” score map对于那些大致接近目标的top-center位置的显示了较高的分数。如果一个候选框与真实物体精确的重合了 (Figures)， 那么大多数的k\*k个bins会被强烈的激活，然后会得到较高的分数。相反的，如 果候选边框与真实物体并没有完全准确的重合(Figure4)，那么在ROI里的有一 些k\*k bins不会被激活，从而导致得分很低。

## 3、相关工作 ##

R-CNN\[2\]己经演示了带深度网络的region proposals丨271丨281的有效性。R-CNN 评估那些关于裁剪过的和带覆盖区域的卷积网络，并且计算在区域之间是不共享 (Table 1)。***SPPnet\[§\]，Fast R-CNN\[§\]和 Faster R-CNN\[18\]***是 semi-convolutional的，***在卷积子网络中是共享对整图的计算的，在另一个子网络是各自计算独立的区域***。  
　　己经有物体检测器可以被认为是全卷积模型。OverFeat \[丑\]通过在共享的卷 积特征图上滑动多尺度窗口来检测目标。同样的，在FastR-CNN迫\]and\[U\]中， 也在研究能取代region proposals的滑动窗口。在这些情况下，可以将单尺度的 滑动窗口改造成一个单层的卷积层。在Faster R-CNN中的RPN组件是一个全卷 积检测器，用来预测是一个关于多尺寸参考边框的实际边框。原始的RPN是 class-agnostic (译者注：类别无关的）。但是对应的clss-specific counterpart是可应用的，接下来我们会演示的。 　   
　　另一个用于目标检测的是fclayer (fully-connected)用来基于整幅图片的完 整目标检测。

Table2:使用 ResNet-101的基于全卷积方法的比较。在这个表格中的所有的比较对象使用的a trous算法。没有进行 Hard sample mining。

![这里写图片描述][70 10]

## 4、总结与展望 ##

我们提出的 Region-based Fully Convolutional Networks是一个简单、精确、有效的用于物体检测的框架。我们的系统很自然的采用了先进的图片分类骨架,就像基于全卷积的Res№ets一样。我们的方法和 Faster r-CN具有可比的精确度,但是在训练和预测上都比它要快。我们特意使本篇论文中给出的R-FCN看起来简单。其实仍然存在一系列的FCNS的正交扩展用来进行语义分割(如\[2\]),还有一些基于区域方法的扩展用来进行物体检测。期望我们的系统能享受到这个领域进步的好处。

--------------------

## 算法总结： ##

**RCNN**   
　　1. 在图像中确定约1000-2000个候选框 (使用选择性搜索)   
　　2. 每个候选框内图像块缩放至相同大小，并输入到CNN内进行特征提取   
　　3. 对候选框中提取出的特征，使用分类器判别是否属于一个特定类   
　　4. 对于属于某一特征的候选框，用回归器进一步调整其位置   
**Fast RCNN**   
　　1. 在图像中确定约1000-2000个候选框 (使用选择性搜索)   
　　2. 对整张图片输进CNN，得到feature map   
　　3. 找到每个候选框在feature map上的映射patch，将此patch作为每个候选框的卷积特征输入SPP layer和之后的层   
　　4. 对候选框中提取出的特征，使用分类器判别是否属于一个特定类   
　　5. 对于属于某一特征的候选框，用回归器进一步调整其位置   
**Faster RCNN**   
　　1. 对整张图片输进CNN，得到feature map   
　　2. 卷积特征输入到RPN，得到候选框的特征信息   
　　3. 对候选框中提取出的特征，使用分类器判别是否属于一个特定类   
　　4. 对于属于某一特征的候选框，用回归器进一步调整其位置

--------------------

> **R-FCN是微软亚洲研究院的代季峰在2016年提出的一种全新的目标检测结构。它对传统的Faster R-CNN结构进行了改造，将ROI层后的卷积都移到了ROI层前，并利用一种位置敏感的特征图来评估各个类别的概率，使其在保持较高定位准确度的同时，大幅提高检测速率。**

网上很容易找到关于R-FCN的各种文章，所以不再重复介绍它的结构，只是选几个容易引起误解的点做深入解读。

**[理解难点：平移不变性和平移可变性][Link 1]**

**理解难点：R-FCN结构的优点**

R-FCN要解决的根本问题是Faster R-CNN检测速度慢的问题，速度慢是因为ROI层后的结构对不同的proposal是不共享的，试想下如果有300个proposal，ROI后的全连接网络就要计算300次，这个耗时就太吓人了。所以作者把ROI后的结构往前挪来提升速度，但光是挪动下还不行，ROI在conv5后会引起上节提到的平移可变性问题，必须通过其他方法加强结构的可变性，所以作者就想出了通过添加Position-sensitive score map来达到这个目的。   
　　   
**理解难点：Position-sensitive score map的结构**

图1的ResNet-101应用到R-FCN时会把最后的average pool和1000-d fc全连接层都去掉了，仅保留前100层，再新加一个1x1x1024的卷积层用来降维（从2048维降到1024维），和一个很特殊的卷积来生成k2 \* (C+1)维的Position-sensitive score map。其中的C是要分类的类别数，比如PASCAL VOC类别就是20，加上1表示加上一个背景分类；k是之后的ROI Pooling中对ROI区域要划分的小格数，比如论文中k=3就是对ROI在长宽方向各三等分形成9个小区域(如图2)。Position-sensitive score map的值对小区域相对于ROI中的位置很敏感，为什么这么说后面会解释。   
![这里写图片描述][70 11]  
图2中最后一个特殊卷积输出Position-sensitive score map后，就要做ROI Pooling了，和Faster R-CNN中的ROI Pooling一样要对9个小区域分别进行pooling，要注意的是R-FCN中９个小区域并不是在所有k2 \* (C+1)维度上都做pooling，每个小区域只会在对应的(C+1)个维度上作pooling，比如ROI左上角的区域就在前C+1个维度上pooling，左中位置的区域就在C+２到２C+２间的维度上作pooling，以此类推。pooling后输出的是C+1维度的k\*k数据，每个维度上的k\*k个数据再加到一起(图２的vote过程)形成C+1个单点数据，就代表了C+1个类别的分类概率。对于目标定位的输出和上面的分类输出过程类似，只是维度不再是k2 \* (C+1)，而是k2\*4，表示９个小区域的［dx,dy,dw,dh］4个偏移坐标。   
**[理解难点：Position-sensitive score map影响平移可变性的本质][Position-sensitive score map]**

# 这是rfcn模型的rpn网络部分： #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 1][]

这是rfcn模型的rfcn网络部分：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 2][]

可以看到rpn网络使用的最后一层特征提取层是resnet的res4f，rfcn网络使用的最后一层特征提取层是resnet的res5c

res4f刚好是resnet的第90层，之所以这样是因为90层刚好达到这一层的feature map是原图的1/16，这与之前的fast、faster一样。

参考文献：

【1】R-FCN —— 全卷积+位置敏感型“Score Map” (目标检测)(two-stage)(深度学习)：[https://blog.csdn.net/Gentleman\_Qin/article/details/84846244][https_blog.csdn.net_Gentleman_Qin_article_details_84846244]

【2】深度学习系列之R-FCN个人总结：[https://blog.csdn.net/LeeWanzhi/article/details/79770376][https_blog.csdn.net_LeeWanzhi_article_details_79770376]

【3】R-FCN论文解读及难点理解（看后面）：[https://blog.csdn.net/qq\_30622831/article/details/81455550][https_blog.csdn.net_qq_30622831_article_details_81455550]

【4】R-FCN：基于区域的全卷积网络来检测物体：[https://blog.csdn.net/shadow\_guo/article/details/51767036][https_blog.csdn.net_shadow_guo_article_details_51767036]

【5】\#目标检测\#对R-FCN网络以及position-sensitive score map的理解：[https://blog.csdn.net/Blateyang/article/details/78697350][R-FCN_position-sensitive score map]

**【6】RFCN结构**：[https://www.cnblogs.com/ymjyqsx/p/7676375.html][https_www.cnblogs.com_ymjyqsx_p_7676375.html]

**【7】位置敏感得分图详解**：[https://blog.csdn.net/Blateyang/article/details/78697350][R-FCN_position-sensitive score map]

【8】R-FCN每秒30帧实时检测3000类物体（有关于滤波核的介绍，需要为每个类设置类特定过滤器，以禁止他们应用于其他类）[：https://www.sohu.com/a/209925179\_206784][https_www.sohu.com_a_209925179_206784]

[https_arxiv.org_abs_1605.06409]: https://arxiv.org/abs/1605.06409
[https_github.com_daijifeng001_r-fcn_https_github.com_daijifeng001_r-fcn]: https://github.com/daijifeng001/r-fcn%28https://github.com/daijifeng001/r-fcn%29
[70]: /images/20220216/858d97fce6cb4bbf884fe76363afaeaf.png
[70 1]: /images/20220216/a5a4f604eb664d1996a3f30a61f58d35.png
[https_github.com_daijifeng001_r-fcn]: https://github.com/daijifeng001/r-fcn
[70 2]: /images/20220216/6b835355fad245cd8c650b637cf12b84.png
[20190421120618322.png]: /images/20220216/165a04eeaf644cc08a23880a04278758.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70]: /images/20220216/1244d61178a246468a83d470931d78c3.png
[R-FCN_position-sensitive score map]: https://blog.csdn.net/Blateyang/article/details/78697350
[70 3]: /images/20220216/b75072b2c7c347d39258e7a38388670e.png
[70 4]: /images/20220216/dc816d97ccaf470792161a076a0afde4.png
[70 5]: /images/20220216/788e2be55058413490264937ef32a880.png
[70 6]: /images/20220216/1e2e0a25b2194f6ebcd1620022c5a870.png
[70 7]: /images/20220216/8cef6ffdb081470d87aceb439251b760.png
[70 8]: /images/20220216/15f11d43ad22422ca8ceb831e0724602.png
[1_--_ TensorFlow]: https://www.cnblogs.com/qcloud1001/p/7677661.html
[https_blog.csdn.net_helei001_article_details_53159690]: https://blog.csdn.net/helei001/article/details/53159690
[https_blog.csdn.net_hereiskxm_article_details_61916676]: https://blog.csdn.net/hereiskxm/article/details/61916676
[70 9]: /images/20220216/0ff12aa89ec3417881575618d0b08774.png
[70 10]: /images/20220216/fad3b1a07ffe4842a142af549df79eeb.png
[Link 1]: https://blog.csdn.net/qq_30622831/article/details/81459365
[70 11]: /images/20220216/44b806ac2bee4629a7b85052da83cfa1.png
[Position-sensitive score map]: https://blog.csdn.net/qq_30622831/article/details/81459407
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 1]: /images/20220216/f42d62d27c1e4e88b5c335577ac0a42f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 2]: /images/20220216/ebe21822d56c449bbf9d739b763392a7.png
[https_blog.csdn.net_Gentleman_Qin_article_details_84846244]: https://blog.csdn.net/Gentleman_Qin/article/details/84846244
[https_blog.csdn.net_LeeWanzhi_article_details_79770376]: https://blog.csdn.net/LeeWanzhi/article/details/79770376
[https_blog.csdn.net_qq_30622831_article_details_81455550]: https://blog.csdn.net/qq_30622831/article/details/81455550
[https_blog.csdn.net_shadow_guo_article_details_51767036]: https://blog.csdn.net/shadow_guo/article/details/51767036
[https_www.cnblogs.com_ymjyqsx_p_7676375.html]: https://www.cnblogs.com/ymjyqsx/p/7676375.html
[https_www.sohu.com_a_209925179_206784]: https://www.sohu.com/a/209925179_206784