本文围绕MnasNet复现展开，介绍了这一谷歌提出的轻量化网络，其通过自动搜索平衡精度与延迟，采用真实手机环境测延迟。复现基于PyTorch实现转为Paddle版本，调整了因硬件限制的参数，采用预热策略等，还提及训练中遇到的精度提升问题及解决办法，最后分享了复现收获。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
【论文复现】 MnasNet复现以及一些感想
简介
概述
MnasNet（ mobile neural architecture search），是谷歌提出的一个轻量化网络。
卷积神经网络一直对于移动设备是个挑战，移动端模型一般要求模型小而快，同时对精度也有要求。尽管CNN模型在移动端做了各种改进提升，但是当考虑到许多架构的可能性时，很难手动平衡这些权衡。自动移动神经架构搜索 (MNAS)方法，它明确地将模型延迟纳入主要目标，以便搜索能够识别一个在准确性和延迟之间实现良好权衡的模型。
与之前的方法预估延迟不同的是，他们直接采用真实环境中手机上的模型预测延时，之前方法通常是采用不精确的模式（如：FLOPS）。为了进一步在灵活性和搜索空间大小之间取得适当的平衡，作者提出了一种新的分解层次搜索空间，它鼓励整个网络中的层多样性。实验结果表明，他们的方法始终优于当时最先进的移动端的CNN跨多个视觉任务的模型。在ImageNet分类任务中取得精确度为75.2%的top1，在手机端的延时为78ms，速度是mobileNetV2的1.8倍，同时精确度比其高0.5%。
Mnasnet网络是介于mobilenetV2和mobilenetV3之间的一个网络，这个网络是采用强化学习搜索出来的一个网络，具体模式如下：
实验方法：
像在ImageNet或COCO这样的大型任务上直接搜索CNN模型是昂贵的，因为每个模型需要几天才能收敛。虽然以前的方法主要对较小的任务（如CIFAR-10）执行模型搜索。在本文中，作者直接在ImageNet训练集上执行模型搜索，但训练步骤较少（5epoch）。通常，从训练集中随机选择50K图像作为固定验证集。为了确保精度的提高来自于搜索空间，使用了与NASNet相同的RNN控制器，尽管它效率不高：
在64台TPUv2设备上，每个模型搜索需要4.5天。在训练过程中，通过在Pixel 1手机的单线程大CPU内核上运行来测量每个采样模型的真实延迟。总的来说，大约采样了8K个模型，但是只有15个性能最好的型号被传输到完整的ImageNet，只有1个模型可以迁移到到COCO数据集上使用。
模型结构
与之前的其他模型不同的是，此模型使用了3X3和5X5的卷积，这和之前其他网络不同点。左图为模型的主结构，右图为模型的子模块具体指代。
实现
mnasnet的实现基于pytorch的实现 由于paddlepaddle和pytorch的接口实现基本用法差别不大，所以在复现中实现的速度要快很多，但是同时也引入了新的问题，我们会一一说明。 pytorch的实现在关键点上的超参数以及具体实现基本已经给出。我们做的主要是实现Paddle版本的模型。
代码的具体实现在路径：work/PP-Mnasnet/net/models/mnasnet.py下面，大家有问题的可以细看。代码结构如下
参数及方法设置
论文中关于优化器以及超参数学习率等参数，论文中都已经给出，但是实际的由于训练使用的硬件差异，我们不可能按照论文中的参数直接拿来使用。
先列举论文中用到的一些方法及参数：
input_size: 224 X 224bach_size: 4Kwarm_up: True / 5 epochlr_scheduler: RMSProplr:0.256dropout:0.2momentum:0.9
单看batch_size的大小4K，这就不是一般硬件能够达到的要求（据说这个模型在搜索出来的时候，资金花费是100K$），所以Batch_size根据实际情况来进行设定；
相对应的lr我们也应该进行调整，不宜设置为论文中的那样，基础的从0.001开始就行。如果最初的lr设置过大，基本在进行几十个epoch后，acc和其他参数指标基本没有大的变化，类似如下：
top1: 0.00090, top5: 0.00473, lr: 0.20480, loss: 7.93936, avg_reader_cost: 0.04303 sec, avg_batch_cost: 0.10214 sec, avg_samples: 64.0, avg_ips: 626.62028 top1: 0.00105, top5: 0.00488, lr: 0.20480, loss: 7.69394, avg_reader_cost: 0.04656 sec, avg_batch_cost: 0.10620 sec, avg_samples: 64.0, avg_ips: 602.63657 top1: 0.00094, top5: 0.00434, lr: 0.20480, loss: 8.00038, avg_reader_cost: 0.04546 sec, avg_batch_cost: 0.10643 sec, avg_samples: 64.0, avg_ips: 601.34891 top1: 0.00086, top5: 0.00512, lr: 0.20480, loss: 7.47677, avg_reader_cost: 0.04140 sec, avg_batch_cost: 0.10397 sec, avg_samples: 64.0, avg_ips: 615.57468 top1: 0.00125, top5: 0.00508, lr: 0.20480, loss: 7.45593, avg_reader_cost: 0.04609 sec, avg_batch_cost: 0.10522 sec, avg_samples: 64.0, avg_ips: 608.27140 top1: 0.00086, top5: 0.00527, lr: 0.20480, loss: 7.76873, avg_reader_cost: 0.04692 sec, avg_batch_cost: 0.10712 sec, avg_samples: 64.0, avg_ips: 597.46578 top1: 0.00078, top5: 0.00453, lr: 0.20480, loss: 7.49132, avg_reader_cost: 0.04431 sec, avg_batch_cost: 0.10443 sec, avg_samples: 64.0, avg_ips: 612.87012 top1: 0.00074, top5: 0.00492, lr: 0.20480, loss: 7.57973, avg_reader_cost: 0.05430 sec, avg_batch_cost: 0.11359 sec, avg_samples: 64.0, avg_ips: 563.42090 top1: 0.00086, top5: 0.00508, lr: 0.20480, loss: 7.92624, avg_reader_cost: 0.04599 sec, avg_batch_cost: 0.10737 sec, avg_samples: 64.0, avg_ips: 596.08218 top1: 0.00102, top5: 0.00465, lr: 0.20480, loss: 8.07673, avg_reader_cost: 0.05052 sec, avg_batch_cost: 0.10950 sec, avg_samples: 64.0, avg_ips: 584.49763
warmup是较好的提分策略，并且能够在实际过程中加快模型拟合。由于训练的数据集使用的是ImageNet，分类为1000，完整的数据集大概144G，如果用aistudio我们也需要训练很久。
在确定了上述的方法策略后，最初的训练集在官方提供的数据集大概66G上直接进行训练。但是实际的训练在经过一天后，实际的acc增长还是比较低。当时采用了新的策略：在miniImageNet上进行训练，大概12个小时候就拟合了。我们将此模型在官方提供的数据集上进行训练，开始的acc可以达到0.22左右。这要比实际的直接进行训练速度要快很多。
训练代码的实现在：work/PP-Mnasnet/net/train.py这个目录下。这样在训练了大概三天后，我们的模型acc精度可以达到0.65左右：
[2021/12/30 13:07:21] root INFO: [Epoch 91, iter: 16400] top1: 0.63598, top5: 0.83176, lr: 0.00120, loss: 1.79083, avg_reader_cost: 0.05147 sec, avg_batch_cost: 0.10281 sec, avg_samples: 64.0, avg_ips: 622.48323 images/sec.[2021/12/30 13:08:16] root INFO: [Epoch 91, iter: 16800] top1: 0.63836, top5: 0.83211, lr: 0.00120, loss: 1.45224, avg_reader_cost: 0.04990 sec, avg_batch_cost: 0.10145 sec, avg_samples: 64.0, avg_ips: 630.85575 images/sec.[2021/12/30 13:09:10] root INFO: [Epoch 91, iter: 17200] top1: 0.63187, top5: 0.83004, lr: 0.00120, loss: 1.95962, avg_reader_cost: 0.04719 sec, avg_batch_cost: 0.09977 sec, avg_samples: 64.0, avg_ips: 641.49160 images/sec.[2021/12/30 13:10:05] root INFO: [Epoch 91, iter: 17600] top1: 0.63000, top5: 0.83313, lr: 0.00120, loss: 1.98715, avg_reader_cost: 0.05027 sec, avg_batch_cost: 0.10245 sec, avg_samples: 64.0, avg_ips: 624.67859 images/sec.[2021/12/30 13:10:59] root INFO: [Epoch 91, iter: 18000] top1: 0.62883, top5: 0.82902, lr: 0.00120, loss: 1.93626, avg_reader_cost: 0.04727 sec, avg_batch_cost: 0.10032 sec, avg_samples: 64.0, avg_ips: 637.96714 images/sec.[2021/12/30 13:11:53] root INFO: [Epoch 91, iter: 18400] top1: 0.62855, top5: 0.82527, lr: 0.00120, loss: 1.35887, avg_reader_cost: 0.04998 sec, avg_batch_cost: 0.10153 sec, avg_samples: 64.0, avg_ips: 630.35848 images/sec.[2021/12/30 13:12:49] root INFO: [Epoch 91, iter: 18800] top1: 0.62773, top5: 0.82719, lr: 0.00120, loss: 1.83990, avg_reader_cost: 0.05086 sec, avg_batch_cost: 0.10312 sec, avg_samples: 64.0, avg_ips: 620.65365 images/sec.[2021/12/30 13:13:43] root INFO: [Epoch 91, iter: 19200] top1: 0.63160, top5: 0.82840, lr: 0.00120, loss: 1.59238, avg_reader_cost: 0.04715 sec, avg_batch_cost: 0.10000 sec, avg_samples: 64.0, avg_ips: 639.99664 images/sec.[2021/12/30 13:14:38] root INFO: [Epoch 91, iter: 19600] top1: 0.63152, top5: 0.83004, lr: 0.00120, loss: 1.68316, avg_reader_cost: 0.05057 sec, avg_batch_cost: 0.10349 sec, avg_samples: 64.0, avg_ips: 618.40716 images/sec.[2021/12/30 13:15:31] root INFO: [Epoch 91, iter: 20000] top1: 0.63129, top5: 0.82945, lr: 0.00120, loss: 1.62996, avg_reader_cost: 0.04641 sec, avg_batch_cost: 0.09755 sec, avg_samples: 64.0, avg_ips: 656.05389 images/sec.[2021/12/30 13:15:34] root INFO: The best model is in epoch [91] and the acc1 is [0.6335090398788452]
论文复现流程：
官方在论文复现方面有个很好的流程，具体可参考
在复现中如果出现精度等其他问题，可以参考官方推荐的流程进行核对对齐
出现的问题（目前已初步知晓）：
在acc达到0.65后就没有继续提升，论文中以及Pythorch实现的acc top1可以达到0.735。 在复现中断了一段时间后，关注到有人在组网的网络可分离卷积网络最后中加入relu（在模型实现代码中work/PP-Mnasnet/net/models/mnasnet.py的第129行添加这个激活层）后继续训练，acc基本接近论文的精度。
参考了paddle模型库中关于可分离卷积的写法，最后一步基本都有激活函数，对于轻量级的网络可能用relu/relu6或者hardswish函数实现。关于这两者的差异，目前还不太清楚原因。有明白的大佬希望在评论区留言解惑。
这也许是这次复现的一个很大的收获，关注具体模块的实现方法，平时需要加强源码阅读以及自己多思考问题能力。
以上就是【论文复现】 MnasNet复现以及一些感想的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/42118.html
微信扫一扫 
支付宝扫一扫 
