初学者深度学习搭建网络容易出错的‘大因素’

你的名字 2022-04-24 04:22 278阅读 0赞

# 1.网络输出与监督信号的尺寸应该匹配 #

如果你的输出是128\*128\*10的结果，那么你的监督信号也应该是128\*128\*10

如果你的监督信号是128\*128\*1，但是最后一个维度是整数，比如\[1,10,2,3,1,1,1...\]但是你的输出是128\*128\*10，那你可以考虑使用sparse 损失函数。categorical\_sparse\_crossentropy

# 2.监督信号应注意有没有未标注类 #

这个经常出现在dense label的图像标注中。有些象素并没有标注，那么在训练中不应该这些像素计入损失函数，测试时也注意不要计算，包括validation。

如果你用keras框架，那么就非常麻烦了。因为你能改accuracy的计算，比如下面

[这个博主][Link 1]。

**但是，关键在于loss能不能重写，要不训练利用的一直是错误数据。**

## single label 一个样本一个标签 ##

那么，先说下对于一个标签的问题，我认为比较好解决。通过设置

1.[自定义损失函数][Link 2]，再来一个[中文的][Link 3]。

[2.交叉熵损失函数][2.]，这个要求你改tensorflow后端的代码。

3.有个[博主][Link 4]，提到再categorical\_crossentropy中，可以添加参数ignore\_label,专门就是忽视类标签。还说用法：

layer {
      name: "loss"
      type: "SoftmaxWithLoss"
      bottom: "fc1"
      bottom: "label"
      top: "loss"
      top: "prob"
      loss_param{
        ignore_label：0
        normalize: 1
        normalization: FULL
      }
    }

看来是单独建一个层。问题是怎么和Model类的损失函数联系起来呢？我是没看懂。你看懂了可以评论给我。官网[catagorical\_crossentrophy][catagorical_crossentrophy]是个参数。我还是个新手。

4.实际上，在[这个项目][Link 5]中，作者是使用了ignore\_label这个参数的，毕竟基本所有数据集都会有未标注类。所以大家还是得解决的。caffe中很简单就有个参数叫ignore\_label，keras却没有。

5.可不可以通过更改

class_weight这个参数使得某类被忽略。但是这个需要是2维的输出。

那总结一下就是，除了第六个，其他的看起来都非常麻烦。目前我打算使用第六种方法。这种方法对于3+维度，包括batch在内，都不支持，也就是说仅仅支持(batchsize=1200,class = 1100)这种onehot类型的输出，完全无法用于图像分类。

[https://github.com/keras-team/keras/issues/3653][https_github.com_keras-team_keras_issues_3653] 图像分割最终的结果大多都是图像大小\*通道数。而且即使是你爸图像resize成1维，仍旧有两个维度，再加上batch大小。得，完全用不了了。

所以对于平衡样本权重这件事的实现，在keras里面这么麻烦，相比于keras其他的简便优点，简直是对逐像素语义分割的恶意。

那么只能说是单独写个损失函数了。

我从[unet的tensorflow上][unet_tensorflow]摘取到了他们的专门计算逐像素加权损失的代码：

import tensorflow as tf
    import numpy as np
    def pixel_wise_softmax(output_map):
        with tf.name_scope("pixel_wise_softmax"):
            max_axis = tf.reduce_max(output_map, axis=3, keepdims=True)
            exponential_map = tf.exp(output_map - max_axis)
            normalize = tf.reduce_sum(exponential_map, axis=3, keepdims=True)
            return exponential_map / normalize
    def _get_cost(self, logits, cost_name, cost_kwargs):
        """
        Constructs the cost function, either cross_entropy, weighted cross_entropy or dice_coefficient.
        Optional arguments are:
        class_weights: weights for the different classes in case of multi-class imbalance
        regularizer: power of the L2 regularizers added to the loss function
        """
    
        with tf.name_scope("cost"):
            flat_logits = tf.reshape(logits, [-1, self.n_class])
            flat_labels = tf.reshape(self.y, [-1, self.n_class])
            if cost_name == "cross_entropy":
                class_weights = cost_kwargs.pop("class_weights", None)
    
                if class_weights is not None:
                    class_weights = tf.constant(np.array(class_weights, dtype=np.float32))
    
                    weight_map = tf.multiply(flat_labels, class_weights)
                    weight_map = tf.reduce_sum(weight_map, axis=1)
    
                    loss_map = tf.nn.softmax_cross_entropy_with_logits_v2(logits=flat_logits,
                                                                          labels=flat_labels)
                    weighted_loss = tf.multiply(loss_map, weight_map)
    
                    loss = tf.reduce_mean(weighted_loss)
    
                else:
                    loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(logits=flat_logits,
                                                                                     labels=flat_labels))
            elif cost_name == "dice_coefficient":
                eps = 1e-5
                prediction = pixel_wise_softmax(logits)
                intersection = tf.reduce_sum(prediction * self.y)
                union = eps + tf.reduce_sum(prediction) + tf.reduce_sum(self.y)
                loss = -(2 * intersection / (union))
    
            else:
                raise ValueError("Unknown cost function: " % cost_name)
    
            regularizer = cost_kwargs.pop("regularizer", None)
            if regularizer is not None:
                regularizers = sum([tf.nn.l2_loss(variable) for variable in self.variables])
                loss += (regularizer * regularizers)
    
            return loss

需要即将里面的tensorflow 标准损失函数改成keras 的标准损失函数。

ps，我还发现了一个东西叫做[void label ][void label]就是说，你的网络自动加一个标签void，来指示她是否确定自己的标注结果。如果某次预测是void，那么这里产生的loss 就不会传递。

这个感觉网络灵活性越高，keras的包装就越加碍事啊。

## multi label 一个样本多个标签 ##

这个问题就比较难解决了，这里有一个[教程][Link 6]专门解决，多标签，户使某一类，未标注类的情况。

# 3.验证集的划分 #

如果你的数据是前一半正例，后一半负例，不要用keras提供的validation\_splt比例这个参数。

如果你的数据是视频序列的每一帧那样，比如每五张是同一个场景，不要用validation\_split。训练效果会差。

因为validation\_split会直接从中劈开你的数据集。

# 4.数据要normalize规格化 #

无论你是图像分类，图像逐像素分割标注。都记得规格化

[Link 1]: https://blog.csdn.net/xijuezhu8128/article/details/88554841
[Link 2]: https://stackoverflow.com/questions/46464549/keras-custom-loss-function-accessing-current-input-pattern
[Link 3]: https://www.imooc.com/article/details/id/31034
[2.]: https://github.com/keras-team/keras/issues/6118
[Link 4]: https://www.cnblogs.com/smuxiaolei/p/8662177.html
[catagorical_crossentrophy]: https://keras.io/zh/backend/#categorical_crossentropy
[Link 5]: https://github.com/aurora95/Keras-FCN
[https_github.com_keras-team_keras_issues_3653]: https://github.com/keras-team/keras/issues/3653
[unet_tensorflow]: https://tf-unet.readthedocs.io/en/latest/_modules/tf_unet/layers.html#pixel_wise_softmax
[void label]: https://stackoverflow.com/questions/47535669/keras-void-labeled-pixels-in-image-segmentation
[Link 6]: https://www.dlology.com/blog/how-to-multi-task-learning-with-missing-labels-in-keras/