pytorch小知识点（二）-------CrossEntropyLoss（reduction参数）

布满荆棘的人生 2022-02-12 11:41 1195阅读 0赞

> 在使用Pytorch时经常碰见这些函数cross\_entropy，CrossEntropyLoss, log\_softmax, softmax。

首先要知道上面提到的这些函数一部分是来自于**torch.nn**,而另一部分则来自于**torch.nn.functional**(常缩写为**F**）。二者函数的区别可参见 [知乎:torch.nn和funtional函数区别是什么？][torch.nn_funtional]

下面是对与cross entropy有关的函数做的总结：

<table> 
 <thead> 
  <tr> 
   <th>torch.nn</th> 
   <th>torch.nn.functional (F)</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>CrossEntropyLoss</td> 
   <td>cross_entropy</td> 
  </tr> 
  <tr> 
   <td>LogSoftmax</td> 
   <td>log_softmax</td> 
  </tr> 
  <tr> 
   <td>NLLLoss</td> 
   <td>nll_loss</td> 
  </tr> 
 </tbody> 
</table>

下面将主要介绍torch.nn.functional中的函数为主,torch.nn中对应的函数其实就是对F里的函数进行包装以便管理变量等操作。

# 一、F.cross\_entropy( ) #

这个函数就是我们常说的softmax Loss。这里暂时只说一下pytorch中该函数的用法（主要是一些平时被忽略的参数）

函数原型为：

cross_entropy(input, target, weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='elementwise_mean')

*  input 一个shape为\[N,C\]的Tensor，其中N代表样本个数，C代表类别数目
 *  target 样本标签，其shape要求为大小为 `n` 的 `1—D` `tensor`，包含类别的索引(`0到 n-1`),要求 0 <= targets\[i\] <= C-1
 *  weight 该参数指定每个类别占loss的权重.。`1-D` tensor，`n`个元素，分别代表`n`类的权重，如果你的训练样本很不均衡的话，是非常有用的。默认值为None。，默认各类loss权重相同
 *  size\_average（该参数不建议使用，后续版本可能被废弃），该参数指定loss是否在一个Batch内平均，即是否除以N。默认为True
 *  ignore\_index 指定忽略某些类别的loss
 *  reduce (该参数不建议使用，后续版本可能会废弃)，首先说明该参数与size\_average冲突，当该参数指定为False时size\_average不生效，该参数默认为True。reduce为False时，对batch内的每个样本单独计算loss，loss的返回值Shape为\[N\],每一个数对应一个样本的loss。reduce为True时，根据size\_average决定对N个样本的loss进行求和还是平均，此时返回的loss是一个数。
 *  reduction 该参数在新版本中是为了取代size\_average和reduce参数的。它共有三种选项'elementwise\_mean'，'sum'和'none'。'elementwise\_mean'为默认情况，表明对N个样本的loss进行求平均之后返回(相当于reduce=True，size\_average=True);'sum'指对n个样本的loss求和(相当于reduce=True，size\_average=False);'none'表示直接返回n分样本的loss(相当于reduce=False)

举几个例子来说明情况（只讲讲reduction，其他都好理解就不说了）

1.默认情况,reduction = 'elementwise\_mean'

假设网络的输出为out，标签为target(需要LongTensor）。我们的Batch\_size为2，总共两个样本，3类。

import torch.nn.functional as F
    
    out = torch.Tensor([[1,2,3],[3,4,1]])
    target = torch.LongTensor([0,1])
    
    loss = F.cross_entropy(out,target)
    print(loss)
    
    
    """
    out 为
    tensor(1.3783)
    """

2.reduction = 'sum'

import torch.nn.functional as F
    
    out = torch.Tensor([[1,2,3],[3,4,1]])
    target = torch.LongTensor([0,1])
    loss = F.cross_entropy(out,target,reduction='sum')
    print(loss)
    
    
    
    """
    out 为
    tensor(2.7566)
    """

观察一下，是不是等于1中loss的两倍呢？

3.reduction = 'none'

import torch.nn.functional as F
    
    out = torch.Tensor([[1,2,3],[3,4,1]])
    target = torch.LongTensor([0,1])
    loss = F.cross_entropy(out,target,reduction='none')
    print(loss)
    
    
    
    """
    out 为
    tensor([2.4076, 0.3490])
    """

此次输出就是一个和样本数相等的向量了（前两个情况都是一个数），观察一下对这个向量求和或者求平均是不是等于前两个情况呢？

[torch.nn_funtional]: https://www.zhihu.com/question/66782101