本文介绍CVPR2021论文提出的小样本学习模型FRN，其将分类问题归为特征重构问题，以闭合解形式从支持样本回归查询样本特征，性能与效率更优。文中展示了基于PaddlePaddle复现的FRN在mini-ImageNet上的精度，还介绍了数据集、环境依赖、快速开始步骤、代码结构及模型信息等内容。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
FRN——小样本学习SOTA模型
一、论文概述
论文Few-Shot Classification with Feature Map Reconstruction Networks是顶会CVPR2021上发表的一种小样本学习经典方法。该方法在小样本学习的benchmark上依然具有最佳的性能指标，是该领域的重要方法。
FRN将小样本分类问题归结为潜在空间中的特征重构问题。作者认为，通过支持样本重构查询样本特征的能力，决定了查询样本的所属类别。作者在小样本学习中引入了一种新的机制，以闭合解的形式从支持样本特征直接向查询样本特征做回归，无需引入新的模块或者大规模的训练参数。上述方法得到的模型（FRN），相比先前的其他方法，无论在计算效率上还是性能表现上都更有优势。FRN在四个细粒度数据集上展现出实质性提升。在通用的粗粒度数据集mini-ImageNet和tiered-ImageNet上，也达到了SOTA指标。
下图展示了FRN的基本工作流程。
二、复现精度
基于paddlepaddle深度学习框架，对文献算法进行复现后，本项目在mini-ImageNet上达到的测试精度，如下表所示。
5-Way 1-Shot
66.45+-0.195-Way 5-Shot
82.83+-0.13
模型训练包括了两个过程，首先是模型预训练，按照典型分类网络的训练过程，将整个训练集送入backbone进行训练；然后是微调过程，按照episode training的训练范式，配置为20-Way 5-Shot方式进行微调训练。这两个训练过程的训练超参数设置如下：
（1）预训练过程
lr0.1gamma0.1epoch350milestones200 300batch_size512
（2）微调训练过程
lr1e-3gamma0.1epoch150train_n_episode1000milestones70 120train_n_way20n_shot5
三、数据集
miniImageNet数据集节选自ImageNet数据集。 DeepMind团队首次将miniImageNet数据集用于小样本学习研究，从此miniImageNet成为了元学习和小样本领域的基准数据集。 关于该数据集的介绍可以参考https://blog.csdn.net/wangkaidehao/article/details/105531837
miniImageNet是由Oriol Vinyals等在Matching Networks 中首次提出的，该文献是小样本分类任务的开山制作，也是本次复现论文关于该数据集的参考文献。在Matching Networks中， 作者提出对ImageNet中的类别和样本进行抽取（参见其Appendix B），形成了一个数据子集，将其命名为miniImageNet。 划分方法，作者仅给出了一个文本文件进行说明。 Vinyals在文中指明了miniImageNet图片尺寸为84×84。因此，后续小样本领域的研究者，均是基于原始图像，在代码中进行预处理， 将图像缩放到84×84的规格。
至于如何缩放到84×84，本领域研究者各有各的方法，通常与研究者的个人理解相关，但一般对实验结果影响不大。本次文献论文原文，未能给出 miniImageNet的具体实现方法，本项目即参考领域内较为通用的预处理方法进行处理。
数据集大小：miniImageNet包含100类共60000张彩色图片，其中每类有600个样本。 mini-imagenet一共有2.86GB数据格式：
|- miniImagenet| |- images/| | |- n0153282900000005.jpg | | |- n0153282900000006.jpg| | |- …| |- train.csv| |- test.csv| |- val.csv
数据集链接：miniImagenet
四、环境依赖
硬件：
x86 cpuNVIDIA GPU
框架：
PaddlePaddle = 2.4
其他依赖项：
numpy==1.19.3tqdm==4.59.0Pillow==8.3.1
五、快速开始
1、解压数据集和源代码：
!unzip -n -d ./data/ ./data/data105646/mini-imagenet-sxc.zip
In [ ]
%cd /home/aistudio/!unzip -n -d ./data/ ./data/data105646/mini-imagenet-sxc.zip
In [ ]
%cd /home/aistudio/work/!unzip -o frn.zip
In [ ]
# 生成json文件!cp write_miniImagenet_filelist.py /home/aistudio/data/mini-imagenet-sxc/%cd /home/aistudio/data/mini-imagenet-sxc/!python write_miniImagenet_filelist.py
2、执行以下命令启动预训练：
python pretrain.py --dataset mini_imagenet --data_path /home/aistudio/data/mini-imagenet-sxc --method stl_frn --lr 1e-1 --gamma 1e-1 --epoch 350 --milestones 200 300 --batch_size 512 --val_n_episode 600 --image_size 84 --model ResNet12 --n_shot 1 --n_query 15 --gpu
模型开始训练，运行完毕后，训练log和模型参数保存在./checkpoints/mini_imagenet/ResNet12_stl_frn_pretrain/目录下，分别是:
best_model.pdparams # 最优模型参数文件output.log # 训练LOG信息
训练完成后，可将上述文件手动保存到其他目录下，避免被后续训练操作覆盖。
In [ ]
%cd /home/aistudio/work!python pretrain.py --dataset mini_imagenet --data_path /home/aistudio/data/mini-imagenet-sxc --method stl_frn --lr 1e-1 --gamma 1e-1 --epoch 350 --milestones 200 300 --batch_size 512 --val_n_episode 600 --image_size 84 --model ResNet12 --n_shot 1 --n_query 15 --gpu
3、执行以下命令启动微调训练：
python meta_train.py --dataset mini_imagenet --data_path /home/aistudio/data/mini-imagenet-sxc --method meta_frn --lr 1e-3 --gamma 1e-1 --epoch 150 --train_n_episode 1000 --val_n_episode 600 --milestones 70 120 --image_size 84 --model ResNet12 --train_n_way 20 --val_n_way 5 --n_shot 5 --n_query 15 --gpu --pretrain_path ./checkpoints/mini_imagenet/ResNet12_stl_frn_pretrain/best_model.pdparams
模型开始训练，运行完毕后，训练log和模型参数保存在./checkpoints/mini_imagenet/ResNet12_meta_frn_20way_5shot_metatrain/目录下，分别是:
best_model.pdparams # 最优模型参数文件output.log # 训练LOG信息
训练完成后，可将上述文件手动保存到其他目录下，避免被后续训练操作覆盖。
In [ ]
%cd /home/aistudio/work!python meta_train.py --dataset mini_imagenet --data_path /home/aistudio/data/mini-imagenet-sxc --method meta_frn --lr 1e-3 --gamma 1e-1 --epoch 150 --train_n_episode 1000 --val_n_episode 600 --milestones 70 120 --image_size 84 --model ResNet12 --train_n_way 20 --val_n_way 5 --n_shot 5 --n_query 15 --gpu --pretrain_path ./checkpoints/mini_imagenet/ResNet12_stl_frn_pretrain/best_model.pdparams
4、执行以下命令进行评估
python test.py --dataset mini_imagenet --data_path /home/aistudio/data/mini-imagenet-sxc --model ResNet12 --method meta_frn --image_size 84 --gpu --n_shot 1 --model_path ./checkpoints/mini_imagenet/ResNet12_meta_frn_20way_5shot_metatrain/best_model.pdparams --test_task_nums 1 --test_n_episode 600
用于评估模型在小样本任务下的精度。
In [ ]
# 5-Way 1-Shot评估%cd /home/aistudio/work!python test.py --dataset mini_imagenet --data_path /home/aistudio/data/mini-imagenet-sxc --model ResNet12 --method meta_frn --image_size 84 --gpu --n_shot 1 --model_path ./checkpoints/mini_imagenet/ResNet12_meta_frn_20way_5shot_metatrain/best_model.pdparams --test_task_nums 1 --test_n_episode 600
In [ ]
# 5-Way 5-Shot评估%cd /home/aistudio/work!python test.py --dataset mini_imagenet --data_path /home/aistudio/data/mini-imagenet-sxc --model ResNet12 --method meta_frn --image_size 84 --gpu --n_shot 5 --model_path ./checkpoints/mini_imagenet/ResNet12_meta_frn_20way_5shot_metatrain/best_model.pdparams --test_task_nums 1 --test_n_episode 600
六、代码结构与详细说明
6.1 代码结构
├── data # 数据处理相关│ ├── datamgr.py # data manager模块│ ├── dataset.py # data set模块├── methods # 模型相关│ ├── FRN.py # FRN核心算法├── network # backbone│ ├── conv.py # Conv-4和Conv-6代码实现│ ├── resnet.py # ResNet-12代码实现├── scripts # 运行工程脚本│ ├── mini_imagenet │ │ ├── run_frn │ │ │ ├── run_frn_metatrain.sh # 运行微调训练│ │ │ ├── run_frn_pretrain.sh # 运行预训练│ │ │ ├── run_frn_test.sh # 运行测试├── meta_train.py # 微调训练代码├── pretrain.py # 预训练代码├── test.py # 测试代码├── utils.py # 公共调用函数├── wirite_miniImagenet_filelist.py # 生成mini-ImageNet数据json文件
6.2 参数说明
可以在 pretrain.py 中设置训练与评估相关参数，具体如下：
—-batch_size128batch size–lr0.05初始学习率–wd5e-4weight decay超参–gamma0.1lr_scheduler衰减系数–milestones80, 120达到相应epoch后，lr_scheduler开始衰减–epoch150遍历数据集的迭代轮数–gpuTrue是否使用GPU进行训练–datasetmini_imagenet指定训练数据集–data_path”指定数据集的路径–modelResNet-12指定采用的backbone–valmeta指定验证方式–train_n_way20小样本训练类别数–val_n_episode600验证时测试多少个episode–val_n_way5小样本验证类别数–n_shot1给定支持样本的个数–n_query15指定查询样本的个数–num_classes64指定base set类别总数–save_freq50指定每隔多少个epoch保存一次模型参数–seed0指定随机数种子–resume”指定恢复训练时加载的中间参数文件路径
6.3 训练流程
可参考快速开始章节中的描述
训练输出
执行训练开始后，将得到类似如下的输出。每一轮epoch训练将会打印当前training loss、training acc、val loss、val acc以及训练kl散度。
Epoch 0 | Batch 0/150 | Loss 4.158544best model! save...val loss is 0.00, val acc is 37.46model best acc is 37.46, best acc epoch is 0This epoch use 7.61 minutestrain loss is 3.72, train acc is 10.84Epoch 1 | Batch 0/150 | Loss 3.052964val loss is 0.00, val acc is 37.46model best acc is 37.46, best acc epoch is 0This epoch use 3.73 minutestrain loss is 2.96, train acc is 25.28Epoch 2 | Batch 0/150 | Loss 2.588413val loss is 0.00, val acc is 37.46model best acc is 37.46, best acc epoch is 0This epoch use 3.71 minutestrain loss is 2.59, train acc is 33.27...
6.4 测试流程
可参考快速开始章节中的描述
此时的输出为：
八、模型信息
训练完成后，模型和相关LOG保存在./results/5w1s和./results/5w5s目录下。
训练和测试日志保存在results目录下。
发布者hrdwsong时间2023.03框架版本Paddle 2.4应用场景小样本学习支持硬件GPU、CPUAistudio地址https://aistudio.baidu.com/aistudio/projectdetail/5723600?contributionType=1&sUid=527829&shared=1&ts=1678943299939
以上就是FRN——小样本学习SOTA模型的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/60126.html
微信扫一扫 
支付宝扫一扫 
