softmax交叉熵损失求导

痛定思痛。 2023-10-09 17:51 65阅读 0赞

`softmax`为激活函数，`C = softmax（o）`为输出，真实标签为`y`, 用交叉熵作为损失函数`L`，给出损失函数定义，并且给出损失函数`L`对`o`的求导

交叉熵损失函数定义如下：

L = − ∑ i = 1 C y i log ⁡ ( c i ) L = -\\sum\_\{i=1\}^C y\_i\\log(c\_i) L=−i=1∑Cyilog(ci)

其中， y y y表示真实标签， c c c表示模型的预测输出， C C C表示类别数。

假设模型的输出为 o o o，则将 o o o输入`softmax`函数得到预测输出 c c c：

c i = e o i ∑ j = 1 C e o j c\_i = \\frac\{e^\{o\_i\}\}\{\\sum\_\{j=1\}^C e^\{o\_j\}\} ci=∑j=1Ceojeoi

将预测输出 c c c代入交叉熵损失函数中，可得到：

L = − ∑ i = 1 C y i log ⁡ ( e o i ∑ j = 1 C e o j ) = − ∑ i = 1 C y i ( o i − log ⁡ ∑ j = 1 C e o j ) L = -\\sum\_\{i=1\}^C y\_i\\log\\left(\\frac\{e^\{o\_i\}\}\{\\sum\_\{j=1\}^C e^\{o\_j\}\}\\right) = -\\sum\_\{i=1\}^C y\_i(o\_i - \\log\\sum\_\{j=1\}^C e^\{o\_j\}) L=−i=1∑Cyilog(∑j=1Ceojeoi)=−i=1∑Cyi(oi−logj=1∑Ceoj)

接下来，我们对 L L L对 o k o\_k ok求导数：

∂ L ∂ o k = − ∑ i = 1 C y i ∂ ( o i − log ⁡ ∑ j = 1 C e o j ) ∂ o k \\frac\{\\partial L\}\{\\partial o\_k\} = -\\sum\_\{i=1\}^C y\_i \\frac\{\\partial(o\_i - \\log\\sum\_\{j=1\}^C e^\{o\_j\})\}\{\\partial o\_k\} ∂ok∂L=−i=1∑Cyi∂ok∂(oi−log∑j=1Ceoj)

当 i = k i=k i=k时，

∂ ( o i − log ⁡ ∑ j = 1 C e o j ) ∂ o k = 1 − e o k ∑ j = 1 C e o j = 1 − c k \\frac\{\\partial(o\_i - \\log\\sum\_\{j=1\}^C e^\{o\_j\})\}\{\\partial o\_k\} = 1 - \\frac\{e^\{o\_k\}\}\{\\sum\_\{j=1\}^C e^\{o\_j\}\} = 1 - c\_k ∂ok∂(oi−log∑j=1Ceoj)=1−∑j=1Ceojeok=1−ck

当 i ≠ k i \\neq k i=k时，

∂ ( o i − log ⁡ ∑ j = 1 C e o j ) ∂ o k = − e o i e o k ( ∑ j = 1 C e o j ) 2 = − c i c k \\frac\{\\partial(o\_i - \\log\\sum\_\{j=1\}^C e^\{o\_j\})\}\{\\partial o\_k\} = -\\frac\{e^\{o\_i\}e^\{o\_k\}\}\{(\\sum\_\{j=1\}^C e^\{o\_j\})^2\} = -c\_ic\_k ∂ok∂(oi−log∑j=1Ceoj)=−(∑j=1Ceoj)2eoieok=−cick

因此，

∂ L ∂ o k = − y k ( 1 − c k ) − ∑ i ≠ k y i ( − c i c k ) = c k − y k \\frac\{\\partial L\}\{\\partial o\_k\} = -y\_k(1-c\_k) - \\sum\_\{i\\neq k\}y\_i(-c\_ic\_k) = c\_k - y\_k ∂ok∂L=−yk(1−ck)−i=k∑yi(−cick)=ck−yk

综上所述，我们可以使用交叉熵损失函数和`softmax`作为激活函数，并且可以使用上述公式计算梯度，以便进行反向传播和模型参数更新。

接着上面的假设，若 :  
 o = p x + b o = px+b o=px\+b  
那么根据链式法则，损失`L`对`p`的求导结果为

x ( c k − y k ) x(c\_k - y\_k) x(ck−yk)

损失`L`对`b`的求导结果为  
 c k − y k c\_k - y\_k ck−yk