目标检测中目标框回归损失函数（IoU, GIoU, DIoU, CIoU）总结

系统管理员 2022-09-13 15:25 1120阅读 0赞

# 目标检测中目标框回归损失函数（IoU, GIoU, DIoU, CIoU）总结 #

## 1. Smooth L1 Loss ##

这个是 Faster-RCNN 中的损失函数。具体可以参考[深度学习目标检测之 R-CNN 系列：Faster R-CNN 网络详解][R-CNN _Faster R-CNN] 中相应介绍。

Smooth L1 Loss 相比 L1 和 L2 的优势可以参考 [损失函数：L1 loss, L2 loss, smooth L1 loss][L1 loss_ L2 loss_ smooth L1 loss]。总结其优势就是：

*  smooth L1和L1-loss函数的区别在于，L1-loss在0点处导数不唯一，可能影响收敛。smooth L1的解决办法是在0点附近使用平方函数使得它更加平滑
 *  相比于L2损失函数，其对离群点、异常值（outlier）不敏感，梯度变化相对更小，训练时不容易跑飞

## 2. IoU Loss ##

IoU(Intersection over Union) 是旷视在 2016 年于 [UnitBox: An Advanced Object Detection Network][UnitBox_ An Advanced Object Detection Network] 中提出的，随后被广泛使用。正如其名交并比，就是两个 BBox 的交集比上并集。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3V3ZWljYWk_size_10_color_FFFFFF_t_70_g_se_x_16_pic_center]

IoU Loss 的数学表达式为  L o s s I o U = − l n ( I o U ) Loss\_\{IoU\} = -ln(IoU) LossIoU=−ln(IoU)，实际使用中很多直接简化为  L o s s I o U = 1 − I o U Loss\_\{IoU\} = 1 - IoU LossIoU=1−IoU。

IoU 相比 Smooth L1 Loss 具有如下优势：

*  具有尺度不变性
 *  IoU Loss，其将 4 个点构成的 box 看成一个整体进行回归

直接看下图更直观。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3V3ZWljYWk_size_16_color_FFFFFF_t_70_g_se_x_16_pic_center]

**IoU 的不足：**

1）当预测框和目标框不相交时，IoU(A,B)=0时，不能反映A,B距离的远近，此时损失函数不可导，IoU Loss 无法优化两个框不相交的情况。

2）假设预测框和目标框的大小都确定，只要两个框的相交值是确定的，其IoU值是相同时，IoU值不能反映两个框是如何相交的。

## 3. GIoU Loss ##

GIoU(Generalized Intersection over Union) 是Hamid Rezatofighi 等2019年于 [Generalized Intersection over Union: A Metric and A Loss for Bounding BoxRegression][Generalized Intersection over Union_ A Metric and A Loss for Bounding BoxRegression] 中提出的一种改进的 IoU Loss。

如下图所示，三种不同相对位置的框拥有相同的IoU=0.33值，但是拥有不同的GIoU=0.33，0.24，-0.1。当框的对齐方向更好一些时GIoU的值会更高一些。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3V3ZWljYWk_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]

计算过程如下：

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3V3ZWljYWk_size_16_color_FFFFFF_t_70_g_se_x_16_pic_center 1]

GIoU Loss 的表达式为：  
 L o s s G I o U = 1 − G I o U Loss\_\{GIoU\} = 1 - GIoU LossGIoU=1−GIoU  
**GIoU 的不足：**

如下图，BBox 重合的时候 GIoU 退化为 IoU。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3V3ZWljYWk_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]

## 4. DIoU Loss ##

DIoU(Distance-IoU) 是 Zhaohui Zheng 等 2019 年在 [Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression][Distance-IoU Loss_ Faster and Better Learning for Bounding Box Regression] 中提出的。

基于IoU和GIoU存在的问题，作者提出了两个问题：

*  第一：直接最小化预测框与目标框之间的归一化距离是否可行，以达到更快的收敛速度。
 *  第二：如何使回归在与目标框有重叠甚至包含时更准确、更快。

好的目标框回归损失应该考虑三个重要的几何因素：**重叠面积，中心点距离，长宽比。基于问题一，作者提出了DIoU Loss,相对于GIoU Loss收敛速度更快，该Loss考虑了重叠面积和中心点距离**，但没有考虑到长宽比；针对问题二，作者提出了CIoU Loss，**其收敛的精度更高**，以上三个因素都考虑到了。

通常基于IoU-based的loss可以定义为  L = 1 − I o U + R ( B , B g t ) L = 1 - IoU + R(B, B^\{gt\}) L=1−IoU\+R(B,Bgt)，其中  R ( B , B g t ) R(B, B^\{gt\}) R(B,Bgt) 定义为预测框  B B B和目标框  B g t B^\{gt\} Bgt 的惩罚项。

DIoU中的惩罚项表示为  R D I o U = ρ 2 ( b , b g t ) c 2 R\_\{DIoU\} = \\frac\{\\rho^\{2\}(b, b^\{gt\})\}\{c^2\} RDIoU=c2ρ2(b,bgt) ，其中  b b b 和  b g t b^\{gt\} bgt 分别表示  B B B 和  B g t B^\{gt\} Bgt 的中心点， ρ \\rho ρ 表示欧式距离，  c c c 表示  B B B 和  B g t B^\{gt\} Bgt 的最小外界矩形的对角线距离，如下图所示。**可以将 DIoU 替换 IoU 用于 NMS 算法当中，也即论文提出的 DIoU-NMS,实验结果表明有一定的提升。**

**DIoU Loss function** 定义为：  L D I o U = 1 − I o U + ρ 2 ( b , b g t ) c 2 L\_\{DIoU\} = 1 - IoU + \\frac\{\\rho^\{2\}(b, b^\{gt\})\}\{c^2\} LDIoU=1−IoU\+c2ρ2(b,bgt)

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3V3ZWljYWk_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]

**DIoU的性质：**

*  尺度不变性
 *  当两个框完全重合时， L I o U = L G I o U = L D I o U = 0 L\_\{IoU\} = L\_\{GIoU\} = L\_\{DIoU\} = 0 LIoU=LGIoU=LDIoU=0 ，当2个框不相交时  L G I o U = L D I o U → 2 L\_\{GIoU\} = L\_\{DIoU\} \\rightarrow 2 LGIoU=LDIoU→2
 *  DIoU Loss 可以直接优化 2 个框直接的距离，比 GIoU Loss 收敛速度更快
 *  对于目标框包裹预测框的这种情况，DIoU Loss 可以收敛的很快，而 GIoU Loss 此时退化为 IoU Loss 收敛速度较慢

## 5. CIoU Loss ##

DIoU 那拨人在 2020 年又整出了个 CIOU( Complete-IoU)。论文见[Enhancing Geometric Factors in Model Learningand Inference for Object Detection and InstanceSegmentation][]。套路和 DIoU 差不多。

**CIoU Loss** 的表达式如下：  
 L D I o U = 1 − I o U + ρ 2 ( b , b g t ) c 2 + α υ L\_\{DIoU\} = 1 - IoU + \\frac\{\\rho^\{2\}(b, b^\{gt\})\}\{c^2\} + \\alpha\\upsilon LDIoU=1−IoU\+c2ρ2(b,bgt)\+αυ  
CIoU 的惩罚项是在 DIoU 的惩罚项基础上加了一个影响因子  α υ \\alpha\\upsilon αυ ，这个因子把预测框长宽比拟合目标框的长宽比考虑进去。其中  α \\alpha α 是用于做 trade-off 的参数，  α = υ ( 1 − I o U ) + υ \\alpha = \\frac\{\\upsilon\}\{(1 - IoU) + \\upsilon\} α=(1−IoU)\+υυ， υ \\upsilon υ 是用来衡量长宽比一致性的参数，定义为  υ = 4 π 2 ( a t c t a n w g t h g t − a r c t a n w h ) \\upsilon = \\frac\{4\}\{\\pi^\{2\}\}(atctan\{\\frac\{w^\{gt\}\}\{h^\{gt\}\}\} - arctan\{\\frac\{w\}\{h\}\}) υ=π24(atctanhgtwgt−arctanhw)。

## 参考 ##

*  [目标检测回归损失函数简介：SmoothL1/IoU/GIoU/DIoU/CIoU Loss][SmoothL1_IoU_GIoU_DIoU_CIoU Loss]

[R-CNN _Faster R-CNN]: https://blog.csdn.net/kuweicai/article/details/104979548
[L1 loss_ L2 loss_ smooth L1 loss]: https://zhuanlan.zhihu.com/p/48426076
[UnitBox_ An Advanced Object Detection Network]: https://arxiv.org/pdf/1608.01471.pdf
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3V3ZWljYWk_size_10_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220828/862f1c4af5124588b1a2875cbdde8489.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3V3ZWljYWk_size_16_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220828/d69d7ac43897420ab17e3986ff3dfedc.png
[Generalized Intersection over Union_ A Metric and A Loss for Bounding BoxRegression]: https://arxiv.org/pdf/1902.09630.pdf
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3V3ZWljYWk_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220828/40cfe4e83cd549168f548c3057d58174.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3V3ZWljYWk_size_16_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: /images/20220828/093fc040ae874d7caeed88b4e2fe3aa2.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3V3ZWljYWk_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: /images/20220828/996c89e7f2074e5c97863e08ebcd97d6.png
[Distance-IoU Loss_ Faster and Better Learning for Bounding Box Regression]: https://arxiv.org/pdf/1911.08287.pdf
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3V3ZWljYWk_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]: /images/20220828/5a64f892f0784b81a05dd0dedf9e1725.png
[Enhancing Geometric Factors in Model Learningand Inference for Object Detection and InstanceSegmentation]: https://arxiv.org/pdf/2005.03572.pdf
[SmoothL1_IoU_GIoU_DIoU_CIoU Loss]: https://zhuanlan.zhihu.com/p/104236411