请我喝杯咖啡☕
*备忘录：
我的文章解释了梯度消失问题、梯度爆炸问题和 ReLU 死亡问题。我的文章解释了 PyTorch 中的层。我的文章解释了 PyTorch 中的激活函数。我的文章解释了 PyTorch 中的损失函数。我的文章解释了 PyTorch 中的优化器。
*过拟合和欠拟合都可以通过Holdout方法或交叉验证（K-Fold Cross-Validation）来检测。 *交叉验证更好。
过拟合：
问题是模型对训练数据的预测准确率很高，但对新数据（包括测试数据）的预测却很少，因此模型对训练数据的拟合程度比对新数据的拟合程度要高。发生的原因是：训练数据很小（不够），因此模型只能学习少量模式。训练数据是不平衡的（有偏差的），有很多特定的（有限的）、相似或相同的数据，但没有很多不同的数据，因此模型只能学习少量的模式。训练数据有很多噪声（噪声数据），因此模型会学习很多噪声的模式，但不会学习正常数据的模式。 *噪声（噪声数据） 表示离群值、异常或有时重复的数据。训练时间过长，epoch数过多。模型太复杂。可以通过以下方式缓解：更大的列车数据。拥有大量各种数据。减少噪音。打乱数据集。提前停止训练。集成学习。正则化以降低模型复杂性：*备注：有Dropout（正则化）。 *我的帖子解释了 Dropout 层。L1 正则化也称为 L1 范数或套索回归。L2 正则化也称为 L2 范数或岭回归。我的帖子解释了 linalg.norm()。我的帖子解释了 linalg.vector_norm()。我的帖子解释了 linalg.matrix_norm()。
欠拟合：
是模型无法对训练数据和新数据（包括测试数据）进行准确预测的问题，因此模型无法同时拟合训练数据和新数据。发生的原因是：模型太简单（不够复杂）。训练时间太短，epoch数太少。应用了过度正则化（Dropout、L1 和 L2 正则化）。可以通过以下方式缓解：增加模型复杂性。通过更多的 epoch 来增加训练时间。减少正则化。
过拟合和欠拟合是权衡的：
过多的过拟合缓解（5.、6. 和 7.）会导致高偏差和低方差的欠拟合，而过多的欠拟合缓解（ 1.、2. 和 3.）会导致低偏差和高方差的过度拟合，因此应平衡它们的缓解措施，如下所示：
*备忘录：
你也可以说偏差和方差是权衡的因为减少偏差会增加方差，而减少方差会增加偏差，因此它们应该是平衡的。 *增加模型复杂性会减少偏差，但会增加方差，同时降低模型复杂性会减少方差，但会增加偏差。低偏差意味着高精度，高偏差意味着低精度。低方差意味着高精度，高方差意味着低精度。
以上就是过拟合与欠拟合的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1353920.html
微信扫一扫 
支付宝扫一扫 
