本教程详细介绍了在 pytorch 中对预训练 vgg-19 模型进行微调的两种核心策略。我们将探讨如何实现全网络层的微调，以及如何选择性地仅微调其最后两个全连接层（fc1、fc2）及最终分类层。文章提供了具体的代码示例，演示了如何加载模型、冻结或解冻参数，并根据自定义数据集替换输出层，旨在帮助读者高效地将 vgg-19 应用于新的图像分类任务。
在深度学习领域，迁移学习是一种强大的技术，它允许我们利用在大规模数据集（如 ImageNet）上预训练的模型来解决新的、相关但数据量较小的任务。VGG-19 作为一种经典的卷积神经网络架构，因其简洁的结构和强大的特征提取能力，常被用作迁移学习的基石。本教程将深入讲解如何在 PyTorch 中对 VGG-19 模型进行微调，以适应特定的分类任务。
1. 加载预训练 VGG-19 模型
首先，我们需要从 torchvision 库中加载预训练的 VGG-19 模型。从 PyTorch 0.13 版本开始，推荐使用 weights 参数来指定预训练权重，而不是已弃用的 pretrained 参数。
import torchimport torch.nn as nnfrom torchvision import modelsfrom torchvision.models import VGG19_Weights# 加载预训练的 VGG-19 模型# VGG19_Weights.IMAGENET1K_V1 表示使用在 ImageNet-1K 数据集上训练的V1版本权重vgg19_model = models.vgg19(weights=VGG19_Weights.IMAGENET1K_V1)# 打印模型结构，以便了解其组成print(vgg19_model)
通过打印模型结构，我们可以看到 VGG-19 主要由 features（卷积层和池化层）、avgpool（自适应平均池化层）和 classifier（全连接层）三部分组成。其中，classifier 部分的结构如下：
(classifier): Sequential( (0): Linear(in_features=25088, out_features=4096, bias=True) # FC1 (1): ReLU(inplace=True) (2): Dropout(p=0.5, inplace=False) (3): Linear(in_features=4096, out_features=4096, bias=True) # FC2 (4): ReLU(inplace=True) (5): Dropout(p=0.5, inplace=False) (6): Linear(in_features=4096, out_features=1000, bias=True) # 原始输出层 )
这里，classifier[0] 对应第一个全连接层 (FC1)，classifier[3] 对应第二个全连接层 (FC2)，而 classifier[6] 则是模型的最终输出层，通常用于 ImageNet 的 1000 个类别分类。
2. 微调策略一：微调所有层
当目标数据集与预训练数据集差异较大，或者目标数据集规模相对较大时，可以考虑微调 VGG-19 模型的所有层。这意味着模型的全部参数都将在训练过程中进行更新。
这种策略的实现相对简单：加载预训练模型后，确保所有层的 requires_grad 属性都设置为 True（默认情况下，加载预训练模型时即为 True），然后根据目标任务的类别数量替换模型的最终分类层。
# 假设你的目标任务有 num_classes 个类别num_classes = 10 # 示例：替换为你的实际类别数量# 1. 加载预训练模型model_all_layers = models.vgg19(weights=VGG19_Weights.IMAGENET1K_V1)# 2. 确保所有层的参数都可训练 (默认已是 True，此处显式设置以示清晰)for param in model_all_layers.parameters(): param.requires_grad = True# 3. 替换最终分类层以适应新的类别数量# 原始输出层的输入特征是 4096model_all_layers.classifier[6] = nn.Linear(4096, num_classes)print("策略一：微调所有层后的模型结构 (部分)")print(model_all_layers.classifier)
优点： 模型的特征提取能力可以完全适应新任务的特性，可能在某些情况下达到更高的性能。缺点： 需要更多的计算资源和更长的训练时间，且更容易过拟合，尤其是在目标数据集较小的情况下。
3. 微调策略二：选择性微调特定全连接层 (FC1, FC2 及最终输出层)
当目标数据集相对较小，或者我们认为预训练模型的底层特征提取器（features 部分）已经足够通用时，可以采用选择性微调策略。这种方法通常冻结大部分卷积层，只微调模型顶部的全连接层，以适应新任务。
在本例中，我们将重点微调 VGG-19 的 classifier 部分中的 FC1 (classifier[0])、FC2 (classifier[3]) 以及最终的分类输出层。
# 假设你的目标任务有 num_classes 个类别num_classes = 10 # 示例：替换为你的实际类别数量# 1. 加载预训练模型model_selective_finetune = models.vgg19(weights=VGG19_Weights.IMAGENET1K_V1)# 2. 冻结所有层的参数# 遍历模型的所有参数，将 requires_grad 设置为 Falsefor param in model_selective_finetune.parameters(): param.requires_grad = False# 3. 解冻 FC1 (classifier[0]) 的参数for param in model_selective_finetune.classifier[0].parameters(): param.requires_grad = True# 4. 解冻 FC2 (classifier[3]) 的参数for param in model_selective_finetune.classifier[3].parameters(): param.requires_grad = True# 5. 替换最终分类层 (classifier[6])# 替换后，这个新的 nn.Linear 层会默认其参数 requires_grad=Truemodel_selective_finetune.classifier[6] = nn.Linear(4096, num_classes)print("n策略二：选择性微调特定全连接层后的模型结构 (部分)")print(model_selective_finetune.classifier)# 验证哪些参数是可训练的print("n可训练参数列表:")for name, param in model_selective_finetune.named_parameters(): if param.requires_grad: print(name)
优点：
减少了需要训练的参数数量，显著降低了计算成本和训练时间。降低了在小数据集上过拟合的风险，因为底层特征提取器保持不变。适用于目标任务与预训练任务特征分布相似的场景。
缺点：
如果目标任务与预训练任务的特征差异很大，固定底层特征提取器可能会限制模型的性能。
4. 注意事项与最佳实践
最终分类层的替换： 无论采用哪种微调策略，如果你的任务类别数量与 ImageNet (1000 类) 不同，都必须替换模型的最终分类层。即使类别数量相同，也强烈建议替换并重新训练该层，因为你的特定类别可能与 ImageNet 中的类别完全不同，需要模型学习新的决策边界。替换 nn.Linear 层会自动使其参数 requires_grad=True。学习率： 在迁移学习中，通常建议使用较小的学习率，尤其是在微调所有层时。对于选择性微调，可以尝试对解冻的层使用相对较高的学习率，而对冻结的层（如果也微调，但学习率极低）使用更低的学习率，或直接冻结。数据预处理： 确保你的输入数据经过与 VGG-19 预训练时相同或相似的预处理步骤（如图像大小调整、归一化等）。torchvision.transforms 提供了方便的工具来完成这些操作。优化器： 对于微调，Adam 或 SGD 优化器都是常见的选择。计算资源： 微调所有层对 GPU 内存和计算能力的要求更高。如果资源有限，选择性微调是更好的起点。
总结
本教程详细介绍了在 PyTorch 中微调 VGG-19 模型的两种主要方法：全层微调和选择性微调特定全连接层。全层微调适用于数据量充足且任务差异较大的情况，而选择性微调则更适合数据量有限或任务相似的场景，它通过冻结大部分预训练权重来提高训练效率并减少过拟合风险。理解并灵活运用这些策略，将使你能够有效地将 VGG-19 应用于各种图像分类任务。在实际应用中，建议根据你的具体任务和数据集特点，尝试不同的微调策略，并通过验证集性能来选择最优方案。
以上就是PyTorch VGG-19 模型微调指南：全层与特定全连接层优化策略的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1381837.html
微信扫一扫 
支付宝扫一扫 
