【AlexeyAB DarkNet框架解析】七，YOLOV1损失函数代码详解(detection_layer.c)

太过爱你忘了你带给我的痛 2023-07-05 10:14 18阅读 0赞

# 前言 #

灵魂拷问，你真的懂YOLOV1的损失函数吗？进一步，懂了损失函数，你清楚它的反向求导过程吗？为了解决这俩问题，本文就结合DarkNet中的YOLOV1的损失函数代码实现(在`src/detection_layer.c`中)来帮助你理解，相信我，看完你真的能理解。关于YOLOV1就不做过多介绍了，之前写过一篇详细的推文介绍，地址为：[目标检测算法之YOLOv1][YOLOv1]

# 损失函数公式 #

YOLOV1的损失函数就是这样，不做过多解释了。需要注意的一个点是，在反向传播求导的时候，各个变量的梯度其实应该都有一个**系数2**的，但是代码中全部都省掉了，这对整个优化过程其实是没有影响的。

![YOLOV1 损失函数][YOLOV1]

# 代码详细解析 #

/**
     * 构建detection层，yolov1中最后一层
     * @param batch 一个batch包含图片的张数
     * @param inputs detection层一张输入图片元素个数
     * @param n yolov1一个grid cell预测bbox的数量 2
     * @param side // grid cell的大小 7
     * @param classes yolov1 预测类的个数
     * @param coords 一个bbox包含的坐标数量 4
     * @param rescore
     * @return
     */
    detection_layer make_detection_layer(int batch, int inputs, int n, int side, int classes, int coords, int rescore)
    {
        
        detection_layer l = {
         (LAYER_TYPE)0 };
        l.type = DETECTION;
    	// 这些变量都可以参考darknet.h中的注释
        l.n = n; //一个cell中预测多少个box
        l.batch = batch; //一个batch中包含图片的张数
        l.inputs = inputs; //detection层一张输入图片的元素个数
        l.classes = classes; //类别数
        l.coords = coords; //一个bbox包含的坐标数量
        l.rescore = rescore; 
        l.side = side; //grid cell的大小 7
        l.w = side; //grid cell的宽度
        l.h = side; //grid cell的高度
        assert(side*side*((1 + l.coords)*l.n + l.classes) == inputs); //7*7*(1 + 4) * 2 + 30 ) = 7*7*30
        l.cost = (float*)xcalloc(1, sizeof(float)); //detection层的总损失
        l.outputs = l.inputs; //detection层对应输入图片的输出元素个数，detection层不改变输入输出大小
        l.truths = l.side*l.side*(1+l.coords+l.classes); //GT:7*7*(1+4+20) 只有一个bbox和置信度
        l.output = (float*)xcalloc(batch * l.outputs, sizeof(float)); // detection层所有输出（包含整个batch的）
        l.delta = (float*)xcalloc(batch * l.outputs, sizeof(float)); //detection层误差项（包含整个batch的）
    
        l.forward = forward_detection_layer; //前向传播
        l.backward = backward_detection_layer; //反向传播
    #ifdef GPU
        l.forward_gpu = forward_detection_layer_gpu;
        l.backward_gpu = backward_detection_layer_gpu;
        l.output_gpu = cuda_make_array(l.output, batch*l.outputs);
        l.delta_gpu = cuda_make_array(l.delta, batch*l.outputs);
    #endif
    
        fprintf(stderr, "Detection Layer\n");
        srand(time(0));
    
        return l;
    }
    
    /**
     * detection层前向传播函数
     * @param l 当前detection层
     * @param net 整个网络
     */
    void forward_detection_layer(const detection_layer l, network_state state)
    {
        
        int locations = l.side*l.side; //grid cell的数量7*7=49
        int i,j;
        memcpy(l.output, state.input, l.outputs*l.batch*sizeof(float));
        //if(l.reorg) reorg(l.output, l.w*l.h, size*l.n, l.batch, 1);
        int b;
        if (l.softmax){
         //yolo v1这里为0，并没有使用
            for(b = 0; b < l.batch; ++b){
        
                int index = b*l.inputs;
                for (i = 0; i < locations; ++i) {
        
                    int offset = i*l.classes;
                    softmax(l.output + index + offset, l.classes, 1,
                            l.output + index + offset, 1);
                }
            }
        }
        if(state.train){
        
            float avg_iou = 0;
            float avg_cat = 0;
            float avg_allcat = 0;
            float avg_obj = 0;
            float avg_anyobj = 0;
            int count = 0;
            *(l.cost) = 0; //detection层的总损失
            int size = l.inputs * l.batch; //误差项的个数
            memset(l.delta, 0, size * sizeof(float)); //误差项初始化
            for (b = 0; b < l.batch; ++b){
        
                int index = b*l.inputs; //第b个batch的起始位置
                for (i = 0; i < locations; ++i) {
         //第i个grid cell，一共有7*7个
                    int truth_index = (b*locations + i)*(1+l.coords+l.classes); //获取第i个grid cell的bbox的GT
                    int is_obj = state.truth[truth_index]; //获取第i个grid cell是否包含物体
                    for (j = 0; j < l.n; ++j) {
         // 获取yolov1 第i个grid cell预测的两个bbox，与GT比较
                        int p_index = index + locations*l.classes + i*l.n + j; // 获取第j个预测的bbox起始位置
                        l.delta[p_index] = l.noobject_scale*(0 - l.output[p_index]); // bbox中不含object的置信度误差项， noobject_scale=0.5 Loss 1-4(1-4指的是公式)
                        *(l.cost) += l.noobject_scale*pow(l.output[p_index], 2); //第i个grid cell中第j个预测bbox中，不含object的置信度损失计算，Loss 1-4
                        avg_anyobj += l.output[p_index]; //bbox中不含object的置信度求和
                    }
    
                    int best_index = -1;
                    float best_iou = 0;
                    float best_rmse = 20; //best bbox的rmse阈值
     
                    if (!is_obj){
         // 当前第i个grid cell, 第j个bbox不含object, 则loss计算完成
                        continue;
                    }
    				// 当前第i个grid cell, 第j个bbox含有object，继续计算坐标预测损失Loss 1-1,1-2，confidence预测损失Loss 1-3，类别预测损失Loss 1-5
                    int class_index = index + i*l.classes;// 获取第i个grid cell的classes起始位置
                    for(j = 0; j < l.classes; ++j) {
        
    					//第i个grid cell预测分类误差项
                        l.delta[class_index+j] = l.class_scale * (state.truth[truth_index+1+j] - l.output[class_index+j]); // 第i个grid cell预测分类误差项
                        *(l.cost) += l.class_scale * pow(state.truth[truth_index+1+j] - l.output[class_index+j], 2); // 类别预测损失计算， Loss 1-5
                        if(state.truth[truth_index + 1 + j]) avg_cat += l.output[class_index+j]; // GT对应的grid cell预测分类值求和
                        avg_allcat += l.output[class_index+j]; // 所有grid cell预测分类值求和
                    }
    				// 获取第i个grid cell, GT BBOX的[x, y, w, h], float_to_box 第一个参数是bbox起始位置
                    box truth = float_to_box(state.truth + truth_index + 1 + l.classes);
                    truth.x /= l.side;
                    truth.y /= l.side;
    
    				//坐标预测损失计算 Loss 1-1, 1-2
    				// 找到第i个grid cell的best bbox
                    for(j = 0; j < l.n; ++j){
        
    					//第i个grid cell预测第j个bbox的起始位置
                        int box_index = index + locations*(l.classes + l.n) + (i*l.n + j) * l.coords; 
                        box out = float_to_box(l.output + box_index); // 获取预测bbox的[x,y,w,h]
    					//yolo v1 直接回归的是 7*x, 所以与GT bbox 计算IOU, 需要先除以7
                        out.x /= l.side; 
                        out.y /= l.side;
    
                        if (l.sqrt){
        
    						//yolo v1直接回归的sqrt(w), 所以与GT bbox 计算IOU前，需要pow一下
                            out.w = out.w*out.w;
                            out.h = out.h*out.h;
                        }
    					//计算预测bbox与 GT bbox之间的IOU
                        float iou  = box_iou(out, truth);
                        //iou = 0;
    					//计算预测bbox的[x,y]与GT bbox的[x,y]之间的均方差损失 Loss 1-1
                        float rmse = box_rmse(out, truth);
    					// 找到第i个grid cell预测最大的那个bbox
                        if(best_iou > 0 || iou > 0){
        
                            if(iou > best_iou){
        
                                best_iou = iou;
                                best_index = j;
                            }
                        }else{
         // 均方差最小的
                            if(rmse < best_rmse){
        
                                best_rmse = rmse;
                                best_index = j;
                            }
                        }
                    }
    				// 强制指定一个bbox
                    if(l.forced){
        
    					// GT bbox w*h < 0.1,强制最好的bbox index是1
                        if(truth.w*truth.h < .1){
        
                            best_index = 1;
                        }else{
        
                            best_index = 0;
                        }
                    }
    				//随机选择最佳bbox
                    if(l.random && *(state.net.seen) < 64000){
        
                        best_index = rand()%l.n;
                    }
    				
    				// 模型预测的bbox起始位置
                    int box_index = index + locations*(l.classes + l.n) + (i*l.n + best_index) * l.coords;
                    int tbox_index = truth_index + 1 + l.classes;
    
    				// 获取最佳bbox的[x, y, w, h]
                    box out = float_to_box(l.output + box_index);
                    out.x /= l.side; // 归一化x
                    out.y /= l.side;
                    if (l.sqrt) {
         // yolo v1直接回归的sqrt(w), 所以与GT bbox 计算IOU前，需要pow一下
                        out.w = out.w*out.w;
                        out.h = out.h*out.h;
                    }
                    float iou  = box_iou(out, truth); // 计算二者IOU
    
                    //printf("%d,", best_index);
    				// 获取第i个grid cell，best bbox的起始位置
                    int p_index = index + locations*l.classes + i*l.n + best_index;
    				// 减去之前计算不含object的confidence预测损失
                    *(l.cost) -= l.noobject_scale * pow(l.output[p_index], 2);
    				// 含有object的confidence的预测损失
                    *(l.cost) += l.object_scale * pow(1-l.output[p_index], 2); 
    				// bbox中含object的置信度求和
                    avg_obj += l.output[p_index];
    				// 第i个含有object的那个best bbox,grid cell预测分类误差项
                    l.delta[p_index] = l.object_scale * (1.-l.output[p_index]);
    				//yolo v1这里为0，并没有使用
                    if(l.rescore){
        
                        l.delta[p_index] = l.object_scale * (iou - l.output[p_index]);
                    }
    				// 第i个grid cell的x对应误差项计算
                    l.delta[box_index+0] = l.coord_scale*(state.truth[tbox_index + 0] - l.output[box_index + 0]);
    				// 第i个grid cell的y对应误差项计算
                    l.delta[box_index+1] = l.coord_scale*(state.truth[tbox_index + 1] - l.output[box_index + 1]);
    				// 第i个grid cell的w对应误差项计算
                    l.delta[box_index+2] = l.coord_scale*(state.truth[tbox_index + 2] - l.output[box_index + 2]);
    				// 第i个grid cell的h对应误差项计算
                    l.delta[box_index+3] = l.coord_scale*(state.truth[tbox_index + 3] - l.output[box_index + 3]);
                    if(l.sqrt){
        
    					// Loss 1-2计算, GT bbox需要开根号
                        l.delta[box_index+2] = l.coord_scale*(sqrt(state.truth[tbox_index + 2]) - l.output[box_index + 2]);
                        l.delta[box_index+3] = l.coord_scale*(sqrt(state.truth[tbox_index + 3]) - l.output[box_index + 3]);
                    }
    
                    *(l.cost) += pow(1-iou, 2);
                    avg_iou += iou; // 包含object的grid cell，best bbox 与 GT bbox的IOU求和
                    ++count;  // 训练阶段，截止到本batch的训练完，包含object总数量
                }
            } // 一个batch中所有图片处理完
    
            if(0){
        
                float* costs = (float*)xcalloc(l.batch * locations * l.n, sizeof(float));
                for (b = 0; b < l.batch; ++b) {
        
                    int index = b*l.inputs;
                    for (i = 0; i < locations; ++i) {
        
                        for (j = 0; j < l.n; ++j) {
        
                            int p_index = index + locations*l.classes + i*l.n + j;
                            costs[b*locations*l.n + i*l.n + j] = l.delta[p_index]*l.delta[p_index];
                        }
                    }
                }
                int indexes[100];
                top_k(costs, l.batch*locations*l.n, 100, indexes);
                float cutoff = costs[indexes[99]];
                for (b = 0; b < l.batch; ++b) {
        
                    int index = b*l.inputs;
                    for (i = 0; i < locations; ++i) {
        
                        for (j = 0; j < l.n; ++j) {
        
                            int p_index = index + locations*l.classes + i*l.n + j;
                            if (l.delta[p_index]*l.delta[p_index] < cutoff) l.delta[p_index] = 0;
                        }
                    }
                }
                free(costs);
            }
    
    		//一个batch的总损失计算
            *(l.cost) = pow(mag_array(l.delta, l.outputs * l.batch), 2); // 一个batch的总损失计算
    
    
            printf("Detection Avg IOU: %f, Pos Cat: %f, All Cat: %f, Pos Obj: %f, Any Obj: %f, count: %d\n", avg_iou/count, avg_cat/count, avg_allcat/(count*l.classes), avg_obj/count, avg_anyobj/(l.batch*locations*l.n), count);
            //if(l.reorg) reorg(l.delta, l.w*l.h, size*l.n, l.batch, 0);
        }
    }
    
    /**
     * detection层反向传播函数
     * @param l 当前detection层
     * @param net 整个网络
     */
    void backward_detection_layer(const detection_layer l, network_state state)
    {
        
        axpy_cpu(l.batch*l.inputs, 1, l.delta, 1, state.delta, 1);
    }
    
    /**
     * yolo v1 Infence 阶段，解析7*7*30
     * @param l 当前detection层
     * @param w 输入图片的宽度
     * @param h 输入图片的高度
     * @param thresh confidence阈值
     * @param dets 用于保存结果
     */
    void get_detection_detections(layer l, int w, int h, float thresh, detection *dets)
    {
        
    	int i, j, n;
    	float *predictions = l.output;
    	//int per_cell = 5*num+classes;
    	for (i = 0; i < l.side*l.side; ++i) {
        
    		int row = i / l.side; //获取grid cell的行号
    		int col = i % l.side; //获取grid cell的列号
    		for (n = 0; n < l.n; ++n) {
         //遍历两个box
    			int index = i*l.n + n;
    			int p_index = l.side*l.side*l.classes + i*l.n + n; 
    			float scale = predictions[p_index];
    			int box_index = l.side*l.side*(l.classes + l.n) + (i*l.n + n) * 4;
    			box b;
    			b.x = (predictions[box_index + 0] + col) / l.side * w; // 坐标转换为真实值
    			b.y = (predictions[box_index + 1] + row) / l.side * h;
    			b.w = pow(predictions[box_index + 2], (l.sqrt ? 2 : 1)) * w;
    			b.h = pow(predictions[box_index + 3], (l.sqrt ? 2 : 1)) * h;
    			dets[index].bbox = b;
    			dets[index].objectness = scale; // 保存框置信度得分
    			for (j = 0; j < l.classes; ++j) {
        
    				int class_index = i*l.classes;
    				float prob = scale*predictions[class_index + j]; // 类别置信度得分=条件类别概率×框置信度得分
    				dets[index].prob[j] = (prob > thresh) ? prob : 0; // 低于阈值一律置为0
    			}
    		}
    	}
    }

有了这个详细的代码注释结合上面的公式就应该可以完全理解YOLOV1的损失函数和反向求导，有任何问题可以加我微信hellotopython一起交流。

# 后记 #

本文介绍了YOLOV1的损失函数实现，也即是`src/detection_layer.c`文件的内容，希望看完这篇你能彻底理解YOLOV1的损失函数，后面我会继续更新YOLOV2/YOLOV3的DarkNet代码解释，请继续关注。

# 同期文章 #

*  [【翻译】手把手教你用AlexeyAB版Darknet][AlexeyAB_Darknet]
 *  [【AlexeyAB DarkNet框架解析】一，框架总览][AlexeyAB DarkNet]
 *  [【AlexeyAB DarkNet框架解析】二，数据结构解析][AlexeyAB DarkNet 1]
 *  [【AlexeyAB DarkNet框架解析】三，加载数据进行训练][AlexeyAB DarkNet 2]
 *  [【AlexeyAB DarkNet框架解析】四，网络的前向传播和反向传播介绍以及layer的详细解析][AlexeyAB DarkNet_layer]
 *  [【AlexeyAB DarkNet框架解析】五，卷积层的前向传播解析][AlexeyAB DarkNet 3]
 *  [【AlexeyAB DarkNet框架解析】六，卷积层的反向传播解析][AlexeyAB DarkNet 4]

--------------------

欢迎关注GiantPandaCV, 在这里你将看到独家的深度学习分享，坚持原创，每天分享我们学习到的新鲜知识。( • ̀ω•́ )✧

有对文章相关的问题，或者想要加入交流群，欢迎添加BBuf微信：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA_size_16_color_FFFFFF_t_70]

[YOLOv1]: https://mp.weixin.qq.com/s/otlZ2MMznP9ACO30idNT4w
[YOLOV1]: https://img-blog.csdnimg.cn/20200213190443746.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA==,size_16,color_FFFFFF,t_70
[AlexeyAB_Darknet]: https://mp.weixin.qq.com/s/xUwwKii-DS1PC69kMz28FQ
[AlexeyAB DarkNet]: https://mp.weixin.qq.com/s/RruZSl49vv5B0eRif-p9HQ
[AlexeyAB DarkNet 1]: https://mp.weixin.qq.com/s/xcQ1enYJDdb_UdHkJqnQHQ
[AlexeyAB DarkNet 2]: https://mp.weixin.qq.com/s/Rrq3DGlcMi-TkBoIkbHh6g
[AlexeyAB DarkNet_layer]: https://mp.weixin.qq.com/s/BvhXIE65ksllh4HkXCWhzg
[AlexeyAB DarkNet 3]: https://mp.weixin.qq.com/s/kutGO0D7W7sfxAUTL7mtUg
[AlexeyAB DarkNet 4]: https://mp.weixin.qq.com/s/NviQoG0SjMogqSm0FwoQjA
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200110234905879.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA==,size_16,color_FFFFFF,t_70