请我喝杯咖啡☕
*备忘录：
我的帖子解释了过拟合和欠拟合。我的文章解释了 PyTorch 中的图层。我的文章解释了 PyTorch 中的激活函数。我的文章解释了 PyTorch 中的损失函数。我的文章解释了 PyTorch 中的优化器。
梯度消失问题：
是在反向传播过程中，梯度越来越小或者为零，从输出层到输入层多次将小梯度相乘，则模型无法有效训练。模型中层数越多，更容易发生。很容易由Sigmoid激活函数引起，即PyTorch中的Sigmoid()，因为它会产生范围为0发生在：CNN（卷积神经网络）.RNN(循环神经网络) 是 PyTorch 中的 RNN()。不容易发生在：LSTM（长短期记忆） 即 PyTorch 中的 LSTM()。GRU（门控循环单元） 即 PyTorch 中的 GRU()。Resnet（残差神经网络），即 PyTorch 中的 Resnet。Transformer 是 PyTorch 中的 Transformer()。等等在以下情况下可以被检测到：靠近输出层的层参数显着变化，而靠近输入层的层参数略有变化或保持不变。输入层附近各层的权重接近0或变为0。收敛缓慢或停止。 可以通过以下方式缓解：批量归一化层，即 PyTorch 中的 BatchNorm1d()、BatchNorm2d() 或 BatchNorm3d()。Leaky ReLU 激活函数，即 PyTorch 中的 LeakyReLU()。 *您还可以使用 ReLU 激活函数，即 PyTorch 中的 ReLU()，但它有时会导致 Dying ReLU Problem，我稍后会解释。PReLU 激活函数，即 PyTorch 中的 PReLU()。ELU 激活函数 即 PyTorch 中的 ELU()。梯度裁剪，即PyTorch中的clip_grad_norm_()或clip_grad_value_()。 *渐变裁剪是将渐变保持在指定范围内的方法。
梯度爆炸问题：
在反向传播过程中，梯度变得越来越大，从输出层到输入层将更大的梯度相乘多次，然后就不可能收敛。模型中层数越多，更容易发生。发生在：CNN.RNN.LSTM.GRU.不容易发生在：Resnet.变压器。等等在以下情况下可以被检测到：模型的权重显着增加。模型权重显着增加最终变成NaN。收敛是波动的，没有完成。 可以通过以下方式缓解：批量归一化层.渐变裁剪.
Dying ReLU 问题：
在反向传播过程中，一旦具有ReLU激活函数的节点（神经元）接收到零或负输入值，它们总是为任何输入值产生零，最后，它们永远不会恢复产生任何值，除了为零，则无法有效训练模型。也称为Dead ReLU问题。更容易发生在：更高的学习率。更高的负面偏见。在以下情况下可以被检测到：收敛缓慢或停止。 损失函数返回 nan。可以通过以下方式缓解：较低的学习率。积极的偏见。Leaky ReLU 激活函数.PReLU 激活函数.ELU 激活函数.
以上就是Vanishing & Exploding Gradient Problem & Dying ReLU Problem的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1353918.html
微信扫一扫 
支付宝扫一扫 
