caffe中层:label从0开始

小鱼儿 2022-02-23 09:12 238阅读 0赞

最近在做一个分类任务的实验的时候，对标签的取值产生了一些疑惑，所以看了一点对应的源代码，顺利解决了疑惑，在这里和大家分享，如果有什么理解错误还请大家指出。  
之前做分类任务的时候总有听说，标签(label)的取值需要从0开始，按照个人的习惯，我在之前的分类实验中，标签的取值一直也都是从0开始（假如有5类，那么label的取值就是0,1,2,3,4），没有作死取其他值，所以也一直一帆风顺。而在最近的实验中，偷懒了一下，虽然label的取值还是从0开始，但是出现了间断（还是假如有5类，那么label的取值就是类似0,1,2,4,5），训练的过程就出现了异常，这也是这一次探索label取值的起因。  
先把结论写下来，在不改写源码的情况下，label的取值有下面两点需要注意：

label的取值必须从0开始；  
label必须是连续的整数(不能间断)；  
总结起来就是：label的取值必须是从0开始的连续整数。 （假如有5类，那么label的取值1,2,3,4,5或者0,1,2,4,5都是不行的）。  
下面来看看相应的源代码就比较清晰了。caffe中，单一标签的分类任务中一般在Accuracy和SoftmaxWithLoss这两个层中会用到label值，而这两个层对应的代码文件分别为accuracy\_layer.cpp和softmax\_loss\_layer.cpp。

首先看一看accuracy\_layer.cpp（关于accuracy\_layer.cpp 的详细解读可以参考博文：link ）。  
accuracy\_layer.cpp 中的Forward\_cpu 函数，有下面这段代码：

std::vector<std::pair<Dtype, int> > bottom\_data\_vector;  
for (int k = 0; k < num\_labels; ++k)\{  
bottom\_data\_vector.push\_back(std::make\_pair(bottom\_data\[i \* dim + k \* inner\_num\_ + j\], k));  
\}  
假如我们是5分类问题，那么这里的num\_labels 就等于5，上面的for循环的目的在于将一个样本的最后一个全连接层(5个神经元)的值和对应的标签序号配对(这里是通过make\_pair 的方式)。因为循环变量k是从0开始的，所以这里k的取值为0,1,2,3,4。是不是已经看出一点端倪了？嗯，继续往下看。

std::partial\_sort(bottom\_data\_vector.begin(), bottom\_data\_vector.begin() + top\_k\_,bottom\_data\_vector.end(),std::greater<std::pair<Dtype, int> >());  
// check if true label is in top k predictions  
for (int k = 0; k < top\_k\_; k++) \{  
if (bottom\_data\_vector\[k\].second == label\_value) \{  
\++accuracy;  
if (top.size() > 1) ++top\[1\]->mutable\_cpu\_data()\[label\_value\];  
break;  
\}  
\}  
这里的partial\_sort 函数是对bottom\_data\_vector 中的元素根据其第一项的值(也就是全连接层神经元的值)进行降序排列(这一步的目的是将值越大也就是响应越大的神经元放在越前面)。top\_k\_ 指的是top几的准确率，比如在之前的ILSVRC中会有top\_1或者top\_5的的准确率，我们这里简单起见取top\_1，也就是top\_k\_ 为1。  
下面的for循环对top\_k\_ 进行，我们这里top\_k\_为1，仅仅进行一次循环。if语句是，判断bottom\_data\_vector 的第1个元素的第二项(也就是响应最大的神经元的序号)和label\_value 是否相等，如果相等，那么计数器accuracy 就加1。这里的label\_value 就是我们在txt文件中定义的label值。如果label\_value 不从0开始且连续的话，就会出现混乱。举个例子：  
假如我们在txt中的label取值(即label\_value)为0,1,2,4,5，有一个样本A，它的label为5。当A样本作为网络的输入之后，最后一个神经元的响应最强烈，到这里一切都是完美和正确的！但是，经过上面的make\_pair 所在的for循环，程序认为最后一个神经元的序号为4。所以在下面判断是否分类正确的时候(if (bottom\_data\_vector\[k\].second == label\_value))，因为4不等于5，所以程序认为这个样本分类错误了！

同样等混乱会出现在softmax\_loss\_layer.cpp 中，在Forward\_cpu 函数中有下面这句代码：

loss -= log(std::max(prob\_data\[i \* dim + label\_value \* inner\_num\_ + j\], Dtype(FLT\_MIN)));  
这句代码是在计算loss，而label\_value 在这里是作为一个构成指针偏移量的项(构成指针偏移量的其它项的具体含义可以参见上面关于accuracy\_layer.cpp的参考博文)，所以如果label\_value 不是从0开始的连续整数，会使索引出现混乱，出现loss爆炸的情况。