IOU计算

ゝ一世哀愁。 2024-04-17 15:54 70阅读 0赞

在目标检测中我们有一个基本的操作，形象表述就是画框框，我们要通过我们画的框把我们要标注的目标给框出来，如下面那个狗。我们既可以说这个狗被框出来了，但是也可以说没有，因为你可以观察到左边和上面是存在一些缝隙的。

![在这里插入图片描述][20190828112046387.png]  
那问题就出现了。什么样的框才算把目标给框住了呢？这个时候就有了IOU这个评价指标。什么是IOU？

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3U0NDExNzgx_size_16_color_FFFFFF_t_70]  
IOU想要描述的时黄框（检测到的结果）和绿框（标注的结果）重合的程度。用公式表示为

![在这里插入图片描述][20190828111021305.png]

公式里面的DetectionResult就表示黄框（也就是通过神经网络得到的结果），GroundResult表示绿框（也就是标注的结果）。

好的，这看上去很容易，但是在具体实现的时候就会有一些问题了。接下来我先用YOLO2中的做法讲解其实现原理。

float overlap(float x1, float w1, float x2, float w2)
    { 
        float l1 = x1 - w1/2;
        float l2 = x2 - w2/2;
        float left = l1 > l2 ? l1 : l2;
        float r1 = x1 + w1/2;
        float r2 = x2 + w2/2;
        float right = r1 < r2 ? r1 : r2;
        return right - left;
    }
    
    float box_intersection(box a, box b)
    { 
        float w = overlap(a.x, a.w, b.x, b.w);
        float h = overlap(a.y, a.h, b.y, b.h);
        if(w < 0 || h < 0) return 0;
        float area = w*h;
        return area;
    }
    
    float box_union(box a, box b)
    { 
        float i = box_intersection(a, b);
        float u = a.w*a.h + b.w*b.h - i;
        return u;
    }
    float box_iou(box a, box b)
    { 
        return box_intersection(a, b)/box_union(a, b);
    }

在这个代码中box a表示结果box，而box b表示的是标注box，这两者都是box类的对象，这个类在这里我们用到了这样几个属性：

*  x:表示box中心点的x坐标
 *  y:表示box中心点的y坐标
 *  w:表示box的宽度
 *  h:表示box的高度

我么先看第一个函数overlap是干什么的。假设按照box\_intersection中的第一个做法，传入这样几个参数overlap(a.x, a.w, b.x, b.w)，结果就是l1表示黄框的左边，l2表示绿框的左边，r1表示黄框的右边，r2表示绿框的右边。如下图

![在这里插入图片描述][201908281124527.png]  
接着left=l2，right=r1，最后right-left=交集的宽。同理传入overlap(a.y, a.h, b.y, b.h)

得到交集的高。两个一乘即为交集的大小。box\_iou函数中的做法大家应该可以看得明白了，不再赘述。

当我们训练好网络后，将待测图像输入网络得到的输出结果是一个高维矩阵。在YOLO2中最后得到的矩阵是这样的\[-1, H, W, B, (4 + 1 + C)\]。

*  H:表示纵向分割的块的数目
 *  W:表示横向分割的块的数目

也就是一幅图片被我们分割为了H\*W块。

*  B:表示anchors的数目
 *  C:表示classes的数目

注意这里的4表示前面讲的x,y,w,h，而后面1表示confidence

以下是对应的python tensorflow版本：

coords = tf.reshape(coords, [-1, H*W, B, 4])
    wh = tf.exp(coords[:,:,:,2:4]) * np.reshape(anchors, [1, 1, B, 2])
    area_pred = wh[:,:,:,0] * wh[:,:,:,1]#得到预测框的面积
    centers = coords[:,:,:,0:2]#得到预测框的xy
    floor = centers - (wh * .5)
    ceil  = centers + (wh * .5)
    
    # calculate the intersection areas
    intersect_upleft   = tf.maximum(floor, _upleft)
    intersect_botright = tf.minimum(ceil , _botright)
    intersect_wh = intersect_botright - intersect_upleft
    intersect_wh = tf.maximum(intersect_wh, 0.0)
    intersect = tf.multiply(intersect_wh[:,:,:,0], intersect_wh[:,:,:,1])#得到交集
    
    # calculate the best IOU, set 0.0 confidence for worse boxes
    iou = tf.truediv(intersect, _areas + area_pred - intersect)#_areas表示真实的面积

这里的floor对应于上面的l1、黄框的下边，ceil对应于上面的r1、黄框的上边。\_upleft对应上面的l2和绿框的下边，\_botright对应上面的r2和绿框的上边。intersect\_upleft就是l2和黄框的下边，intersect\_botright就是r1和绿框的上边，后面的代码就顺理成章了。

[20190828112046387.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/2659304cfa474e80a025ec51204900e6.png?
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3U0NDExNzgx_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/41c0d66d4d8e413a912d81b0849dc2cb.png
[20190828111021305.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/72d8f721c35e4adf96e56df750b32352.png
[201908281124527.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/1c89eed4da7040759c4c5dc28b47c1d1.png?