efficientnetv2 是由 google research 的 brain team 在 2021 年 icml 会议上发布的一篇论文。该论文通过神经架构搜索（nas）和缩放技术，优化了训练速度和参数效率。模型中引入的新操作，如 fused-mbconv，进一步提升了搜索空间的效率。efficientnetv2 模型的训练速度比 efficientnetv1 快得多，同时模型大小缩小了 6.8 倍。
论文大纲如下：
理解和提高 EfficientNetV1 的训练效率使用非常大的图像尺寸进行训练会导致训练速度变慢。FixRes 技术通过使用较小的图像尺寸进行训练，可以将训练速度提高多达 2.2 倍，同时提高准确度。Depth-wise 卷积在模型早期层执行缓慢，但在后期层效率较高。Fused-MBConv 操作通过将 MBConv 中的 depthwise conv3×3 和扩展 conv1×1 替换为单个常规 conv3×3，提高了训练速度。
在每个阶段同样扩大规模并不是最优的。EfficientNetV2 使用非均匀缩放策略，向模型后期逐渐添加更多层，并限制最大图像尺寸以减少内存消耗和加快训练速度。NAS 和缩放NAS 搜索空间类似于 PNASNet，通过 NAS 进行卷积运算类型的设计选择，包括层数、内核大小、扩展比等。通过减少图像尺寸和优化搜索空间，EfficientNetV2 实现了更快的训练速度和更高的准确度。
EfficientNetV2 在早期层中广泛使用了 MBConv 和 Fused-MBConv，并更倾向于使用较小的扩展比和内核大小。缩放策略中，EfficientNetV2-S 通过复合缩放比例放大得到 EfficientNetV2-M/L，并限制最大推理图像大小为 480。
Progressive Learning通过从小图像尺寸和弱正则化开始，逐渐增加学习难度，提高了模型的表现。
SOTA 比较在 ImageNet 上，EfficientNetV2 模型比之前的 ConvNets 和 Transformer 模型速度更快，精度和参数效率更高。在迁移学习测试中，EfficientNetV2 模型在多个数据集上表现优于之前的模型。
消融研究在相同学习设置下，EfficientNetV2 模型的性能优于 EfficientNets。通过模型缩放和 Progressive Learning，EfficientNetV2 模型在训练速度和准确性上表现出色。自适应正则化在早期训练阶段使用较小的正则化，帮助模型更快收敛并获得更好的最终精度。
引用[2021 ICML] [EfficientNetV2]EfficientNetV2: Smaller Models and Faster Training
https://www.php.cn/link/9dc69f4a9d78d28dc1ba5697a159c546
以上就是论文推荐：EfficientNetV2 – 通过NAS、Scaling和Fused-MBConv获得更小的模型和更快的训练的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/32318.html
微信扫一扫 
支付宝扫一扫 
