【GANs】什么是饱和损失函数 Non-Saturating LossFunction

叁歲伎倆 2023-01-07 01:28 369阅读 0赞

在设定GAN的损失函数时，总会有文献说**Saturating**和**Non-Saturating Loss functions**，具体他们各是什么，以及为什么这么称呼呢？

> 一句话总结：**非饱和损失函数能在训练早期提供更大的梯度**

我们首先看一下两种的数学表达式

1.  饱和Loss：生成器希望**最小化**被判断为**假**的概率  
     min ⁡ log ⁡ ( 1 − D ( G ( z ) ) ) (1) \\min \\log(1-D(G(z))) \\tag\{1\} minlog(1−D(G(z)))(1)
2.  非饱和Loss：生成器希望**最大化**被判断为**真**的概率  
     max ⁡ log ⁡ ( D ( G ( z ) ) ) or min ⁡ − log ⁡ ( D ( G ( z ) ) ) (2) \\max \\log(D(G(z))) \\tag\{2\}\\\\ \\text\{or\} \\min -\\log(D(G(z))) maxlog(D(G(z)))ormin−log(D(G(z)))(2)

后者能提供的梯度信息更好，为什么呢？

在训练的初始阶段， G G G 生成的样本很容易被  D D D 识别出来，也就是  D ( G ( z ) ) D(G(z)) D(G(z)) 趋近于0，此时饱和GAN的 Loss\_G 的梯度会趋近于0，所以**饱和**了。而非饱和GAN的 Loss\_G 的梯度不是趋近于0的，能够为网络的权重更新提供好的梯度方向，帮助收敛，所以**没饱和**。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l6eV8xOTk2_size_16_color_FFFFFF_t_70]  
图来自于  
A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l6eV8xOTk2_size_16_color_FFFFFF_t_70]: /images/20221119/1279ed80f78643bfba730b818178fd9c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，369人围观）

还没有评论，来说两句吧...

相关阅读

相关负对数似然损失函数是什么？极大似然估计的本质思想是什么？

负对数似然损失函数是什么？极大似然估计的本质思想是什么？负对数似然损失函数（Negative Log-Likelihood Loss Function）是机器学习中常用的

布满荆棘的人生/ 2024年03月17日 17:15/ 0 赞/ 74 阅读

相关损失函数

深度学习中常见的损失函数分为两种：分类损失和回归损失 ![1603578-20190718102755224-1925395869.png][] Log loss即交叉熵损

曾经终败给现在/ 2023年06月04日 02:53/ 0 赞/ 35 阅读

相关 matlab中饱和函数怎么写,matlab中饱和函数如何表示呢

2013-03-29 回答没听过，你说的饱和函数。 2.1.3 sym函数——定义符号矩阵 38 2.1.4 syms函数——定义矩阵的又一函数 39 2.1.5 sym的

野性酷女/ 2023年01月16日 02:50/ 0 赞/ 122 阅读

相关【GANs】什么是饱和损失函数 Non-Saturating LossFunction

在设定GAN的损失函数时，总会有文献说Saturating和Non-Saturating Loss functions，具体他们各是什么，以及为什么这么称呼呢？ > 一句话总

叁歲伎倆/ 2023年01月07日 01:28/ 0 赞/ 370 阅读

相关平方损失函数与交叉熵损失函数

1. 前言在机器学习中学习模型的参数是通过不断损失函数的值来实现的。对于机器学习中常见的损失函数有：平方损失函数与交叉熵损失函数。在本文中将讲述两者含义与响应的运用区别

素颜马尾好姑娘i/ 2022年05月25日 03:11/ 0 赞/ 440 阅读

相关损失函数

交叉熵损失函数多分类的情况，[来源][Link 1] ![这里写图片描述][70] l1 loss l2 loss hinge loss [L

男娘i/ 2022年05月13日 01:04/ 0 赞/ 349 阅读

相关到底什么是生成式对抗网络 GAN？

到底什么是生成式对抗网络 GAN？先来看一下 [百度百科-GAN][-GAN] 的解释生成式对抗网络（GAN, Generative Adversarial Net

痛定思痛。/ 2022年04月04日 13:45/ 0 赞/ 426 阅读

相关 pytorch损失函数

> 学习深度学习的过程中一直会遇到损失函数，均方损失函数、交叉熵损失函数、负对数似然损失函数 > 有些时候觉得有点不清晰，所以总结、梳理一下，加深自己的理解 MSELo

曾经终败给现在/ 2021年12月19日 04:49/ 0 赞/ 420 阅读

相关损失函数

深度学习中常见的损失函数分为两种：分类损失和回归损失 ![1603578-20190718102755224-1925395869.png

清疚/ 2021年10月24日 04:28/ 0 赞/ 437 阅读

相关 triple-gan_什么是AAA（Triple-A）电子游戏？

![triple-gan][] triple-gan ![Microsoft unveiling Halo: The Master Chief Collection on

深碍√TFBOYSˉ_/ 2021年07月27日 00:57/ 0 赞/ 495 阅读