【DPN】Dual Path Networks (2017) 全文翻译

以你之姓@ 2022-11-27 00:49 236阅读 0赞

##### 作者 #####

Yunpeng Chen 1, Jianan Li 1,2, Huaxin Xiao 1,3, Xiaojie Jin 1, Shuicheng Yan 4,1, Jiashi Feng 1  
1 National University of Singapore  
2 Beijing Institute of Technology  
3 National University of Defense Technology  
4 Qihoo 360 AI Institute

##### 摘要 #####

在这项工作中，我们提出了一个简单、高效、模块化的图像分类双路径网络（DPN），它在内部提出了一种新的连接路径拓扑。通过揭示最新的剩余网络（ResNet）和稠密卷积网络（DenseNet）在HORNN框架下的等价性，我们发现ResNet支持特征重用，DenseNet支持新的特征探索，这对学习好的表示非常重要。为了从这两种路径拓扑中获益，我们提出的双路径网络共享共同的特性，同时保持通过双路径架构探索新特性的灵活性。在ImagNet-1k、Places365和PASCAL-VOC三个基准数据集上的大量实验清楚地证明了所提出的DPN优于现有技术的性能。特别是在ImagNet-1k数据集上，浅层DPN比最好的ResNeXt-101（64×4d）模型小26%，计算成本低25%，内存消耗低8%，而深度DPN（DPN-131）则以大约2倍的训练速度进一步推动了最先进的单模型性能。在Places365大型场景数据集、PASCAL VOC检测数据集和PASCAL VOC分割数据集上的实验也表明，在各种应用中，它的性能始终优于DenseNet、ResNet和最新的ResNeXt模型。

##### 1. 引言 #####

“网络工程”对于视觉识别的研究越来越重要。在本文中，我们致力于开发新的深层架构路径拓扑，以进一步推动表示学习的前沿。特别地，我们着重分析和改造跳跃连接，它在现代深层神经网络的设计中得到了广泛的应用，并在许多应用中取得了显著的成功\[16,7,20,14,5\]。跳过连接创建一条将信息从较低层直接传播到较高层的路径。在前向传播过程中，跳转连接使最顶层能够从较远的底层访问信息；而对于反向传播，它有利于梯度反向传播到底层，而不降低幅度，有效地缓解了梯度消失问题，简化了优化。  
深度残差网络（ResNet）\[5\]是最早成功地采用跳跃连接的方法之一，其中每个mirco块，即剩余函数，与一个称为剩余路径的跳跃连接相关联。剩余路径元素明智地将输入特性添加到同一个mirco块的输出中，使其成为剩余单元。根据mirco块的内部结构设计，剩余网络已经发展成一系列不同的架构，包括WRN\[22\]、Inception resnet\[20\]和ResNeXt\[21\]。  
最近，Huang等人。\[8\] 提出了一种与deep ResNet\[5\]具有相当精度的不同网络结构，称为密集卷积网络（DenseNet）。与剩余网络通过剩余路径将输入特征加入到输出特征中不同，DenseNet使用一条密集连接的路径将输入特征与输出特征连接起来，使每个微块能够接收来自所有先前微块的原始信息。与剩余网络族类似，DenseNet也可以分为密集连接网络族。尽管密集连接路径的宽度随着深度的增加而线性增加，导致参数的数量呈二次增长，但是DenseNet提供了比ResNet更高的参数效率\[5\]。  
在这项工作中，我们的目的是研究这两种拓扑的优点和局限性，并通过提出一种双路径架构来进一步丰富路径设计。特别地，我们首先从高阶递归神经网络（HORNN）\[19\]的视角对稠密连接网络进行了新的理解，并探讨了稠密连接网络与残差网络之间的关系。更具体地说，我们将稠密连接的网络与HORNNs连接起来，表明当权重跨步骤共享时，密集连接网络就是horns。在文献\[12\]的启发下，我们证明了当连接跨层共享时，剩余网络是稠密连接的网络。基于这种对最新深度架构的统一观点，我们发现深度剩余网络通过剩余路径隐含地重用特征，而密集连接网络则通过密集连接路径不断探索新的特征。  
基于这种新的观点，我们提出了一种新的双路径结构，称为双路径网络（DPN）。这种新的体系结构继承了剩余路径和密集连接路径的优点，实现了有效的特征重用和再利用。与现有的分类网络相比，所提出的DPN还具有更高的参数效率、更低的计算成本和更低的内存消耗，并且易于优化。实验结果表明，在ImageNet-1k数据集和Places365标准数据集上，DPN与其他已建立的图像分类基线相比具有显著的高精度。另外，在目标检测任务和语义分割任务上的实验也表明，所提出的双路径体系结构可以广泛地应用于各种任务，并始终获得最佳性能。

##### 2. 相关工作 #####

设计一个先进的神经网络结构是提高图像分类性能的最具挑战性但也是最有效的方法之一，它也可以直接为其他各种任务带来好处。AlexNet\[10\]和VGG\[18\]是展示深卷积神经网络能力的两个最重要的作品。他们证明用微小的卷积核构建更深层的网络是提高神经网络学习能力的一种很有前途的方法。剩余网络是由He等人首次提出的。\[5\] 这大大减轻了优化的难度，并通过跳转连接将深层神经网络的深度进一步提升到数百层。从那时起，不同类型的剩余网络出现了，它们要么致力于构建更高效的微块内部结构\[3，21\]，要么探索如何使用剩余连接\[9\]。最近，Huang等人。\[8\] 提出了一种不同的网络，称为密集卷积网络，其中跳跃连接用于连接输入到输出，而不是相加。然而，密集连接路径的宽度随着深度的增加而线性增加，导致参数的数量呈二次方增长，并且与剩余网络相比，如果没有具体优化实现，则会消耗大量GPU内存。这限制了建立一个更深更广的密度网，从而进一步提高精度。  
除了设计新的建筑，研究人员还试图重新探索现有的最先进的建筑。在文献\[6\]中，作者指出了剩余路径对降低优化难度的重要性。在文献\[12\]中，残差网络被递归神经网络（RNN）桥接，这有助于人们从RNN的角度更好地理解深度残差网络。文献\[3\]统一了几种不同的残差函数，试图为设计具有更高学习能力的mirco结构提供更好的理解。但是，对于密集连接的网络，除了一些关于更好的特征重用和有效的梯度流的直观解释外，很少有工作能够提供真正深入的理解。  
在这项工作中，我们的目的是从高阶RNN的角度对稠密连接网络有一个更深入的理解，并解释剩余网络是如何在一个特殊的密集连接网络的情况下存在的。在此基础上，我们提出了一种新的双路径网络结构，它不仅具有较高的精度，而且具有较高的参数和计算效率。  
![20200812203944253.png_pic_center][]  
**图1.** 不同类型神经网络的拓扑关系。（a） （b）表示残差网络与RNN之间的关系，如\[12\]所述；（c）和（d）表示稠密连接网络与高阶递归神经网络（HORNN）之间的关系，本文对此进行了解释。符号“z−1”表示延时单元；“⊕”表示元素累加；“I（·）”表示单位映射函数

##### 3. 重温ResNet、DenseNet和高阶RNN #####

在这一部分中，我们首先将密接网络\[8\]与高阶递归神经网络\[19\]连接起来，以提供对稠密连接网络的新理解。我们证明了剩余网络\[5，6，22，21，3\]本质上属于稠密连接网络家族，但它们的连接是跨步骤共享的。然后，对每种拓扑结构的优缺点进行了分析，从而推动了双路径网络体系结构的发展。  
为了探索上述关系，我们从高阶RNN的角度对稠密连接网络提出了一种新的观点，解释了它们之间的关系，并对剩余网络进行了专门的分析。在整篇论文中，我们用更广义的形式来表述HORNN。在第t步用 h t h^t ht表示递归神经网络的隐状态，用k作为当前步的指标。设 x t x^t xt表示第t步的输入， h 0 = x 0 h^0=x^0 h0=x0。对于每一步， f t k ( ⋅ ) f^k\_t(\\cdot) ftk(⋅)是指以隐藏状态为输入，输出提取信息的特征提取函数。 g k ( ⋅ ) g^k(\\cdot) gk(⋅)表示将收集到的信息转换为当前隐藏状态的转换函数：  
 h k = g k \[ ∑ t = 0 k − 1 f t k ( h t ) \] . . . . . . . . . . . . . ( 1 ) h^k=g^k\[\\sum\_\{t=0\}^\{k-1\}f^k\_t(h^t)\].............(1) hk=gk\[t=0∑k−1ftk(ht)\].............(1)  
等式（1）以通用的方式封装各种网络架构的更新规则。对于HORNNs，权重是跨步骤共享的，即 ∀ t , k , f k − t k ( ⋅ ) ≡ f t ( ⋅ ) ∀t, k, f^k\_\{k−t\}(\\cdot)\\equiv f\_t(\\cdot) ∀t,k,fk−tk(⋅)≡ft(⋅)和 ∀ k , g k ( ⋅ ) ≡ g ( ⋅ ) ∀k, g^k(\\cdot)\\equiv g(\\cdot) ∀k,gk(⋅)≡g(⋅)。对于密集连接网络，每一步（微块）都有自己的参数，这意味着 f t k ( ⋅ ) f^k\_t(\\cdot) ftk(⋅)和 g k ( ⋅ ) g^k(\\cdot) gk(⋅)是不共享的。这样的观察表明，DenseNet的密连通路径本质上是一条高阶路径，它能够从先前的状态中提取新的信息。图1(c)(d)以图形方式显示了密集连接网络和高阶递归网络之间的关系。  
然后我们解释了当取 ∀ t , k , f t k ( ⋅ ) ≡ f t ( ⋅ ) ∀t, k, f^k\_t(\\cdot)≡f\_t(\\cdot) ∀t,k,ftk(⋅)≡ft(⋅)时残差网络是稠密连接网络的特例。为了简洁起见，我们引入 r k r^k rk来表示中间结果，并让 r 0 = 0 r^0=0 r0=0。那么等式（1）可以重写为：  
 r k ≜ ∑ t = 1 k − 1 f t ( h t ) = r k − 1 + f k − 1 ( h k − 1 ) . . . . . . . . . . . . . . ( 2 ) h k = g k ( r k ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ( 3 ) \\begin\{aligned\} r^k\\triangleq\\sum\_\{t=1\}^\{k-1\}f\_t(h^t)&=r^\{k-1\}+f\_\{k-1\}(h^\{k-1\})..............(2) \\\\ h^k&=g^k(r^k)................................(3) \\end\{aligned\} rk≜t=1∑k−1ft(ht)hk=rk−1\+fk−1(hk−1)..............(2)=gk(rk)................................(3)  
因此，通过将等式（3）代入等式（2），等式（2）可以简化为：  
 r k = r k − 1 + f k − 1 ( h k − 1 ) = r k − 1 + f k − 1 ( g k − 1 ( r k − 1 ) = r k − 1 + φ k − 1 ( r k − 1 ) . . . . . . . . . . . . . . . . . . . . . . . . . ( 4 ) \\begin\{aligned\} r^k&=r^\{k−1\}+f\_\{k−1\}(h^\{k−1\}) \\\\ &=r^\{k−1\}+f\_\{k−1\}(g^\{k−1\}(r^\{k−1\}) \\\\ &=r^\{k−1\}+φ^\{k−1\}(r^\{k−1\}).........................(4) \\end\{aligned\} rk=rk−1\+fk−1(hk−1)=rk−1\+fk−1(gk−1(rk−1)=rk−1\+φk−1(rk−1).........................(4)  
式中 ϕ k ( ⋅ ) = f k ( g k ( ⋅ ) ) \\phi^k(·)=f\_k(g^k(·)) ϕk(⋅)=fk(gk(⋅))。显然，等式（4） 具有与残差网络和递归神经网络相同的形式。具体地说，当 ∀ k , ϕ k ( ⋅ ) ≡ ϕ ( ⋅ ) ∀k, \\phi^k(·)\\equiv\\phi(·) ∀k,ϕk(⋅)≡ϕ(⋅)，等式（4） 退化为RNN；当 ϕ k ( ⋅ ) \\phi^k(·) ϕk(⋅)不共享且 x k = 0 x^k=0 xk=0时， k > 1 k>1 k>1，等式（4） 产生一个残差网络。图1(a)(b)以图形方式显示了这种关系。另外，回想一下等式（4） 在 ∀ t , k , f t k ( ⋅ ) ≡ f t ( ⋅ ) ∀t, k, f^k\_t(·)≡f\_t(·) ∀t,k,ftk(⋅)≡ft(⋅)的条件下，由等式（1）导出。 密集连接网络的形式是等式（1） 这意味着剩余网络族本质上属于密集连接网络族。图2(a–c)给出了一个例子并证明了这种等价性，其中 f t ( ⋅ ) f\_t(·) ft(⋅)对应于第一个1×1卷积层， g k ( ⋅ ) g^k(·) gk(⋅)对应于图2(b)中微块内的其他层。  
通过以上分析，我们观察到：1）当 f t k ( ⋅ ) f^k\_t(·) ftk(⋅)和 g k ( ⋅ ) g^k(·) gk(⋅)对所有 k k k共享时，残差网络和稠密连接网络都可以看作一个HORNN；2）如果 ∀ t , k , f t k ( ⋅ ) ≡ f t ( ⋅ ) ∀t, k, f^k\_t(·)\\equiv f\_t(·) ∀t,k,ftk(⋅)≡ft(⋅)，残差网络就是一个稠密连通网络。通过分享 f t k ( ⋅ ) f^k\_t(·) ftk(⋅)在所有步骤中， g k ( ⋅ ) g^k(·) gk(⋅)从给定的输出状态接收相同的特征，这有利于特征的重用，从而减少特征冗余。然而，这种信息共享策略使得剩余网络很难探索新的特征。相对而言，由于 f t k ( ⋅ ) f^k\_t(·) ftk(⋅)不跨步骤共享，因此密集连接网络能够从先前的输出中探索新的信息。然而，不同的 f t k ( ⋅ ) f^k\_t(·) ftk(⋅)可能会多次提取同一类型的特征，从而导致高冗余度。  
在下一节中，我们将介绍双路径网络，它可以克服这两种最先进的网络体系结构的固有局限性。它们与HORNN的关系也意味着我们提出的架构可以用于改进HORNN，我们将其留待以后的工作。

##### 4. 双路径网络 #####

上面我们解释了残差网络和稠密连接网络之间的关系，说明残差路径隐含地重用了特征，但不善于发掘新的特征。与此相反，密集连接的网络不断探索新的特性，但存在更高的冗余。  
在这一节中，我们将详细描述我们提出的新的双路径架构，即双路径网络（DPN）。接下来，我们首先介绍并阐述了双路径体系结构，然后对网络结构进行了详细的描述和复杂性分析。

###### 4.1 双路径体系结构 ######

第三节讨论了剩余网络和密集连接网络的优点和局限性。在分析的基础上，我们提出了一种简单的双路径结构，该结构在所有块上共享 f t k ( ⋅ ) f^k\_t(·) ftk(⋅)，以享受低冗余重用公共特征的好处，同时仍然保持密集连接的路径，使网络在学习新特征时更具灵活性。我们将这种双路径体系结构描述如下：  
 x k ≜ ∑ t = 1 k − 1 f t k ( h t ) . . . . . . . . . . . . . . . . . . . . . ( 5 ) y k ≜ ∑ t = 1 k − 1 v t ( h t ) = y k − 1 + ϕ k − 1 ( y k − 1 ) . . . . . . . . . ( 6 ) r k ≜ x k + y k . . . . . . . . . . . . . . . . . . . . . . . . . ( 7 ) h k = g k ( r k ) . . . . . . . . . . . . . . . . . . . . . . . . . . . ( 8 ) \\begin\{aligned\} x^k&\\triangleq\\sum\_\{t=1\}^\{k-1\}f^k\_t(h^t).....................(5) \\\\ y^k&\\triangleq\\sum\_\{t=1\}^\{k-1\}v\_t(h^t) \\\\ &=y^\{k-1\}+\\phi^\{k-1\}(y^\{k-1\}).........(6) \\\\ r^k&\\triangleq x^k+y^k.........................(7) \\\\ h^k&=g^k(r^k)...........................(8) \\end\{aligned\} xkykrkhk≜t=1∑k−1ftk(ht).....................(5)≜t=1∑k−1vt(ht)=yk−1\+ϕk−1(yk−1).........(6)≜xk\+yk.........................(7)=gk(rk)...........................(8)  
其中 x k x^k xk和 y k y^k yk表示从单个路径的第k步提取的信息， v t ( ⋅ ) v\_t(·) vt(⋅)是作为 f t k ( ⋅ ) f^k\_t(·) ftk(⋅)的特征学习函数。等式（5）表示能够发现新特征的密集连接路径，等式（6）表示允许公共特征重用的剩余路径，等式（7）定义了将它们集成并将它们馈送给等式（8）中最后一个转换函数的双路径。最后的变换函数 g k ( ⋅ ) g^k(·) gk(⋅)生成当前状态，用于下一步映射或预测。图2(d)(e)显示了我们实验中使用的双路径体系结构的一个示例。  
更一般地说，所提出的DPN是一个卷积神经网络家族，它包含一个残差相似路径和一个紧密连接的相似路径，如后面所解释的。与这些网络类似，用户可以定制DPN的微块功能，以用于特定任务或进一步提高整体性能。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvbmd4aWZhY2FpX2JlbGlldmU_size_16_color_FFFFFF_t_70_pic_center][]  
**图2.** 不同网络的体系结构比较。（a） 残差网络。（b） 一种密集连接的网络，每层都可以访问以前所有微块的输出。这里，为了与（a）中的微块设计一致，添加了1×1卷积层（下划线）。（c） 通过在（b）中共享相同输出的第一个1×1连接，密集连接网络退化为剩余网络。（c）中的虚线矩形突出显示剩余单位。（d） 提出的双路径体系结构DPN。（e） 从实现的角度看，（d）的一种等价形式，其中符号“o”表示拆分操作，“+”表示元素顺序相加

###### 4.2 双路径网络 ######

建议的网络是通过堆叠多个模块化的mirco块构建的，如图2所示。在这项工作中，每个微块的结构都采用瓶颈样式\[5\]，从1×1卷积层开始，然后是3×3卷积层，最后是1×1卷积层。最后一个1×1卷积层的输出被分成两部分：第一部分被合理地添加到剩余路径中，第二部分与密集连接的路径连接。为了提高每个微块的学习能力，我们使用第二层的分组卷积层作为ResNeXt\[21\]。  
考虑到实际应用中剩余网络比密集连接网络应用更为广泛，我们选择剩余网络作为主干，增加一条细密连接路径来构建双路径网络。这样的设计也有助于减缓密集连接路径的宽度增量和GPU内存的开销。表1显示了详细的体系结构设置。表中G为组数，k为密集连接路径的信道增量。对于新提出的DPNs，我们使用（+k）来表示密集连接路径的宽度增量。DPN的总体设计继承了vanilla ResNet/ResNeXt的主干架构，使其易于实现和应用于其他任务。我们可以简单地通过在现有剩余网络上添加一个“切片层”和“连接层”来实现DPN。在一个优化良好的深度学习平台下，这些新增的操作都不需要额外的计算成本或额外的内存消耗，使得DPN具有很高的效率。  
为了证明双路径体系结构的有效性，我们特意设计了一组dpn，与最先进的ResNeXts\[21\]相比，具有更小的模型尺寸和更少的flop，如表1所示。由于计算资源有限，我们根据以往的经验而不是网格搜索实验来设置这些超参数。  
**模型复杂度。** 通过计算每个神经网络中可学习参数的总数来衡量模型的复杂度。表1显示了不同模型的结果。DPN-92比ResNeXt-101（32×4d）的参数少15%，而DPN-98的参数比ResNeXt-101（64×4d）少26%。  
**计算复杂度。** 我们使用输入大小为224×224的浮点运算（FLOPs）来衡量每个深度神经网络的计算成本，乘法加法的数量如下\[21\]。表1显示了理论计算成本。虽然实际的时间开销可能会受到其他因素的影响，例如GPU带宽和编码质量，但是计算成本显示了速度的上限。从结果可以看出，DPN-92比ResNeXt-101（32×4d）少消耗19%的浮点运算，而DPN-98比ResNeXt-101（64×4d）少25%左右。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvbmd4aWZhY2FpX2JlbGlldmU_size_16_color_FFFFFF_t_70_pic_center 1][]  
**表1.** 我们提议的双路径网络（DPN）和其他最先进网络的体系结构和复杂性比较。我们比较了两种基线方法：DenseNet\[5\]和ResNeXt\[21\]。符号（+k）表示密集连接路径上的宽度增量

##### 5. 实验 #####

为了评估所提出的双路径网路，我们进行了大量的实验。具体来说，我们使用三个标准基准数据集：ImageNet-1k数据集、Places365标准数据集和PASCAL VOC数据集，从图像分类、对象检测和语义分割三个方面对所提出的体系结构进行了评估。  
在ImageNet-1k对象分类数据集\[17\]上研究了提出的DPNs的关键属性，并在Places365标准场景理解数据集\[24\]上进行了进一步验证。为了验证所提出的DPNs是否有助于图像分类之外的其他任务，我们进一步在PASCAL VOC数据集上进行了实验，以评估其在目标检测和语义分割方面的性能。

###### 5.1 图像分类任务实验 ######

我们使用MXNet\[2\]在一个有40K80显卡的集群上实现DPNs。在文献\[3\]中，我们采用标准的数据扩充方法，使用SGD对网络进行训练，每个GPU的最小批量为32。对于最深的网络，即DPN-131（DPN-131在conv1有128个信道，conv2有4个块，conv3有8个块，conv4有28个块，conv5有3个块，参数为 79.5 × 1 0 6 79.5×10^6 79.5×106，FLOPs= 16.0 × 1 0 9 16.0×10^9 16.0×109），由于12GB GPU内存限制，最小批处理大小限制为24。学习率从 0.1 \\sqrt\{0.1\} 0.1开始，对于DPN-92和DPN-131，对于DPN-98，从0.4开始。它以“步进”的方式下降0.1倍。在\[5\]之后，批处理规范化层在训练后被细化。

###### 5.1.1 ImageNet-1k数据集 ######

首先，我们比较了DPNs与当前最新模型的图像分类性能。从表2中的第一个块可以看出，与ResNeXt-101（32×4d）相比，深度仅为92的浅DPN将top-1的错误率降低了0.5%，与DenseNet-161相比绝对值为1.5%，但是仍然提供了相当少的flop。在表2的第二个块中，更深的DPN（DPN-98）超过了最佳剩余网络ResNeXt-101（64×4d），仍然可以减少25%的失败率和更小的模型大小（236mb vs.s320mb）。为了进一步提高最先进的精度，我们将DPN的深度稍微增加到131（DPN-131）。结果显示在表2中的最后一个块中。同样，DPN显示出比最好的单一模型更高的精度-非常深的多项式\[23\]，模型尺寸小得多（304 MB v.s.365 MB）。需要注意的是，非常深的多项式采用了许多技巧，如插入初始化、残差缩放、随机路径等来辅助训练过程。相比之下，我们提出的DPN-131简单且不涉及这些技巧，DPN-131可以使用标准的训练策略训练成浅DPN。更重要的是，DPN-131的实际训练速度大约是极深多项式的2倍，如下段所述。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvbmd4aWZhY2FpX2JlbGlldmU_size_16_color_FFFFFF_t_70_pic_center 2][]  
**表2.** ImageNet-1k数据集与最先进CNN的比较。验证集上的单作物验证错误率（%）。\*：业绩由\[21\]报告，†：平均最大池（见附录A）  
![20200813135002300.png_pic_center][]  
**表3.** Places365标准数据集与最新CNN的比较。验证集上的10个作物验证准确率（%）  
![20200813135115780.png_pic_center][]  
**图3.** 培训期间不同型号之间实际总成本的比较。在一个节点上用4K80图形卡进行评估，所有训练样本都缓存在内存中。（为了比较训练速度，我们在12GB GPU内存的情况下，将小批量大小推到最大值，以测试每种型号可能的最快训练速度）

其次，我们比较了表现最好的模型的训练成本。在这里，我们重点评估两个关键属性-实际GPU内存成本和实际训练速度。图3显示了结果。从图3（a）（b）可以看出，DPN-98比性能最好的ResNeXt快15%，占用内存少9%，测试错误率也低得多。注意，理论上，表2中显示的DPN-98的计算成本比性能最好的ResNeXt少25%，这表明代码优化仍有空间。图3（c）以更清晰的方式展示了相同的结果。与性能最好的ResNeXt相比，较深的DPN-131只需花费大约19%的训练时间，但达到了最先进的单型号性能。基于我们使用MXNet的实现，先前最先进的单个模型，即甚深多项式（537层）\[23\]的训练速度约为每秒31个样本，这表明DPN-131在训练期间的速度比非常深的多项式快约2倍。

###### 5.1.2 Place365标准数据集 ######

在这个实验中，我们使用Places365标准数据集进一步评估了所提出的DPN在场景分类任务中的准确性。Places365标准数据集是一个高分辨率场景理解数据集，包含365个场景类别的180多万张图像。与目标图像不同的是，场景图像没有非常清晰的识别模式，需要更高层次的上下文推理能力。  
表3显示了这个数据集上不同模型的结果。为了进行公正的比较，我们对这个数据集执行DPN-92，而不是使用更深的DPN。结果表明，与其他方法相比，DPN具有最佳的验证精度。DPN-92需要的参数要少得多（138mb与163mb），这再次证明了它的高参数效率和高泛化能力。

###### 5.2 目标检测任务实验 ######

我们进一步评估了所提出的双路径网络的目标检测任务。在PASCAL VOC 2007数据集上进行了实验\[4\]。我们按照\[16\]在voc2007训练集和voc2012训练集上训练模型，并在voc2007测试集上进行评估。我们使用标准评估指标平均精度（AP）和平均AP（mAP），遵循PASCAL挑战协议进行评估。  
![20200813135733201.png_pic_center][]  
**表4.** PASCAL VOC 2007测试集的目标检测结果。性能通过平均精度（mAP，单位为%）来衡量  
![20200813135825409.png_pic_center][]  
**表5.** PASCAL VOC 2012测试集语义分割结果。性能通过平均交集除以联合（mIoU，in%）来衡量

我们基于ResNet的更快的R-CNN框架进行所有的实验，遵循\[5\]并通过替换残差网络进行比较，同时保持其他部分不变。由于我们的目标是评估DPN，而不是进一步提高这个数据集的最新精度，我们采用了最浅的DPN-92和基本网络，其复杂度大致相同。表4提供了所提议的DPN与几种当前最先进模型的检测性能比较。可以观察到，DPN得到了82.5%的mAP，与ResNet-101\[16\]相比提高了6.1%，与ResNeXt-101（32×4d）相比提高了2.4%。实验结果表明，双路径网络能够更好地学习目标检测的特征表示，有利于目标检测任务的完成。

###### 5.3 语义分割任务实验 ######

在这个实验中，我们评估了双路径网络对于密集预测的性能，即语义分割，训练目标是预测输入图像中每个像素的语义标签。我们在PASCAL VOC 2012分割基准数据集\[4\]上进行了实验，并使用DeepLab-ASPP-L\[1\]作为分割框架。对于表5中的每个比较方法，我们将表1的conv4和conv5中的3×3卷积层替换为atrus卷积\[1\]，并在conv5的最终特征图中插入atrus空间金字塔池（ASPP）\[1\]的头部。为了公平比较，我们对以下所有网络采用相同的培训策略。  
表5显示了不同卷积神经网络的结果。可以观察到，提出的DPN-92具有最高的mIoU整体精度。与具有更大模型尺寸和更高计算成本的ResNet-101相比，所提出的DPN-92进一步改进了大多数类别的IoU，并使整体mIoU的绝对值提高了1.7%。考虑到ResNeXt-101（32×4d）仅比ResNet-101提高0.5%的绝对值，因此，与ResNeXt-101（32×4d）相比，所提出的DPN-92提高了3倍以上。较好的结果再次证明了所提出的双路径网络能够更好地学习密集预测的特征表示。

##### 6. 结论 #####

本文重温了稠密连接网络，用高阶rnn桥接了稠密连接网络，证明了剩余网络本质上是具有共享连接的稠密连接网络。基于这一新的解释，我们提出了一个双路径架构，该架构同时兼顾了双方的利益。然后基于这种双路径结构开发了新的网络DPN。在图像分类任务上的实验表明，DPN具有精度高、模型尺寸小、计算成本低、GPU内存消耗小等优点，无论是在研究上还是在实际应用中都是非常有用的。在目标检测任务和语义分割任务上的实验表明，所提出的DPN也可以通过简单地替换基本网络而使其他任务受益。

##### 参考文献 #####

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvbmd4aWZhY2FpX2JlbGlldmU_size_16_color_FFFFFF_t_70_pic_center 3][]  
![在这里插入图片描述][20200813140402869.png_pic_center]

[20200812203944253.png_pic_center]: /images/20221124/ee166adc18024d88bf385818016ca36f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvbmd4aWZhY2FpX2JlbGlldmU_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/2710cb4bdec3472f8e9426381e31c0c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvbmd4aWZhY2FpX2JlbGlldmU_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/32c1816079d04c3c842d361e1128d349.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvbmd4aWZhY2FpX2JlbGlldmU_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/0a66dd35bbd343d3b8e669234fefba67.png
[20200813135002300.png_pic_center]: /images/20221124/ef23f2b8101f46bbb91285abdf8c8fc2.png
[20200813135115780.png_pic_center]: /images/20221124/77314ce9683e497b950592d7b21294fe.png
[20200813135733201.png_pic_center]: /images/20221124/e41bfbf96b084a41b472bb607615d830.png
[20200813135825409.png_pic_center]: /images/20221124/0356d4e207604c99b37fd13d3618cfd3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvbmd4aWZhY2FpX2JlbGlldmU_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221124/8398e6be5271425c803543dd6d178fcd.png
[20200813140402869.png_pic_center]: /images/20221124/afabf7c76d7145b1858e1e5309b470a5.png