本项目选择的超分模型是 ESRGAN、LESRCNN、DRN，在迭代50000轮后，通过“训练时长”、“PSNR”、“SSIM”三个指标以及生成的图像清晰度来进行三者的数值与效果对比。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
『行远见大』图像超分效果对比，以 ESRGAN、LESRCNN、DRN 模型为例
项目简介
本项目选择的超分模型是 ESRGAN、LESRCNN、DRN，在迭代50000轮后，通过“训练时长”、“PSNR”、“SSIM”三个指标以及生成的图像清晰度来进行三者的数值与效果对比。
向开源致敬！
大家好，我是行远见大。欢迎你与我一同建设飞桨开源社区，知识分享是一种美德，让我们向开源致敬！
项目环境配置
In [ ]
import paddleprint("本项目基于Paddle的版本号为："+ paddle.__version__)
本项目基于Paddle的版本号为：2.0.2
安装PaddleGAN
PaddleGAN的安装目前支持Clone GitHub和Gitee两种方式：
In [ ]
# 安装ppgan# 当前目录在: /home/aistudio/, 这个目录也是左边文件和文件夹所在的目录# 克隆最新的PaddleGAN仓库到当前目录# !git clone https://github.com/PaddlePaddle/PaddleGAN.git# 如果从github下载慢可以从gitee clone：!git clone https://gitee.com/paddlepaddle/PaddleGAN.git# 安装Paddle GAN%cd PaddleGAN/!pip install -v -e .
数据准备
本项目使用处理好的超分数据集卡通画超分数据集。
In [ ]
# 回到/home/aistudio/下%cd /home/aistudio# 解压数据!unzip -q data/data80790/animeSR.zip -d data/# 将解压后的数据链接到` /home/aistudio/PaddleGAN/data `目录下!mv data/animeSR PaddleGAN/data/
数据集的组成形式
PaddleGAN ├── data ├── animeSR ├── train ├── train_X4 ├── test └── test_X4
训练数据集包括400张卡通画，其中train中是高分辨率图像，train_X4中是对应的4倍缩小的低分辨率图像。测试数据集包括20张卡通画，其中test中是高分辨率图像，test_X4中是对应的4倍缩小的低分辨率图像。
数据可视化
In [ ]
import osimport cv2import numpy as npimport matplotlib.pyplot as plt# 训练数据统计train_names = os.listdir('PaddleGAN/data/animeSR/train')print(f'训练集数据量: {len(train_names)}')# 测试数据统计test_names = os.listdir('PaddleGAN/data/animeSR/test')print(f'测试集数据量: {len(test_names)}')# 训练数据可视化img = cv2.imread('PaddleGAN/data/animeSR/train/Anime_1.jpg')img = img[:,:,::-1]plt.figure()plt.imshow(img)plt.show()
训练集数据量: 400测试集数据量: 20
超分模型介绍
本项目使用到的模型有：
增强型超分辨率生成对抗网络 ESRGAN ：Enhanced Super-Resolution Generative Adversarial Networks
盲超分辨模型 LESRCNN ：Lightweight Image Super-Resolution with Enhanced CNN
对偶回归网络 DRN ：Dual Regression Networks
增强型超分辨率生成对抗网络 ESRGAN 模型结构
为了进一步提高SRGAN恢复图像质量，对生成器G的结构做了两个改进：
1）去除掉所有的BN层。
2）提出用残差密集块（RRDB）代替原始基础块，其结合了多层残差网络和密集连接。
去除BN层已经被证明有助于增强性能和减少计算复杂度在不同的PSNR-oriented任务，包括SR和去模糊。
BN层在训练期间使用批次的均值和方差对特征进行归一化，在测试期间使用整个训练数据集的估计均值和方差。
当训练和测试数据集的统计数据差异很大时，BN层往往引入不适的伪影，限制了泛化能力。
ESRGAN 模型示意图
盲超分辨模型 LESRCNN 模型结构
LESRCNN由信息提取和增强块（IEEB）、重构块（RB）和信息提纯块（IRB）组成。
IEEB: IEEB能提取层次的低频特征和逐步加强获得特征的作用来增强网络浅层对深层的记忆能力。为了移除冗余的低频特征，3×3和1×1卷积组成的异构结构应用到IEEB中。
RB: 因为SR任务目标是把低分辨率图像转换为高分辨率图像，所以RB能通过子像素卷积技术把低频特征转换为高频特征。
为了防止原始输入低频图像在转换过程中丢失重要信息，RB通过融合局部和全局特征来解决网络长期依赖问题。
LESRCNN 模型示意图
对偶回归网络 DRN 模型结构
一开始我以为这是图像分割课上学的 Dilated Residual Networks（扩张残留网络），但写着写着总感觉哪里不对。
看到这篇文章后才知道 DRN 应该是 Dual Regression Networks（对偶回归网络）。
DRN 效果示意图
原始映射网络（比如传统SISR，LR→HR）和逆映射网络（HR→LR）：遵循下采样，再上采样的U形设计。每个包含一个log2(s)的块，s是尺度因子。这意味着，放大4倍，需要2个块，8倍就要3个块。与原始U形设计（就是改进）不同，我们使用B剩余通道注意块(RCAB)来构建每个基本块，以提高模型容量。在此之后我们添加额外的输出来生成相应比例的图像(即1×、2×、4×图像)，并将所提出的损失应用于这些图像来训练模型。在输入网络之前，图片用Bicubic放大对应尺寸。
DRN 的逆映射网络，就是为了从HR中学到一个下采样模型，它比原始映射简单，用了2个卷积，一个ReLU激活函数。
DRN 模型示意图
修改选中模型的配置文件
所有模型的配置文件均在/home/aistudio/PaddleGAN/configs目录下。
找到你需要的模型的配置文件，修改模型参数，一般修改迭代次数，num_workers，batch_size以及数据集路径。
有能力的同学也可以尝试修改其他参数，或者基于现有模型进行二次开发，模型代码在/home/aistudio/PaddleGAN/ppgan/models目录下。
找到/home/aistudio/PaddleGAN/configs目录，修改配置文件_psnr_x4_div2k.yaml中的
参数total_iters设置为50000
参数dataset：train：num_workers设置为4
参数dataset：train：batch_size设置为16
参数dataset：train：gt_folder改为data/animeSR/train
参数dataset：train：lq_folder改为data/animeSR/train_X4
参数dataset：test：gt_folder改为data/animeSR/test
参数dataset：test：lq_folder改为data/animeSR/test_X4
参数periods: [… , … , … , …]periods的数字总和要等于total_iters的数值
增强型超分辨率生成对抗网络 ESRGAN
训练 ESRGAN_PSNR 模型
ESRGAN_PSNR 模型50000轮，用时约5.7小时
In [20]
%cd /home/aistudio/PaddleGAN/!python -u tools/main.py --config-file configs/esrgan_psnr_x4_div2k.yaml
测试 ESRGAN_PSNR 模型
运行/home/aistudio/pretrained_model/ESRGAN_PSNR_50000_weight.pdparams代码测试 ESRGAN 模型。
In [21]
%cd /home/aistudio/PaddleGAN/!python tools/main.py --config-file configs/esrgan_psnr_x4_div2k.yaml --evaluate-only --load /home/aistudio/pretrained_model/esrgan_iter_50000_weight.pdparams
[04/28 08:59:29] ppgan.engine.trainer INFO: Test iter: [0/20][04/28 08:59:56] ppgan.engine.trainer INFO: Test iter: [10/20][04/28 09:00:18] ppgan.engine.trainer INFO: Metric psnr: 25.4030[04/28 09:00:18] ppgan.engine.trainer INFO: Metric ssim: 0.7585
盲超分辨模型 LESRCNN
训练 LESRCNN_PSNR 模型
LESRCNN_PSNR 模型50000轮，用时约2.3小时
In [ ]
%cd /home/aistudio/PaddleGAN/!python -u tools/main.py --config-file configs/lesrcnn_psnr_x4_div2k.yaml
测试 LESRCNN_PSNR 模型
运行/home/aistudio/pretrained_model/LESRCNN_PSNR_50000_weight.pdparams代码测试 LESRCNN 模型。
In [ ]
%cd /home/aistudio/PaddleGAN/!python tools/main.py --config-file configs/lesrcnn_psnr_x4_div2k.yaml --evaluate-only --load /home/aistudio/pretrained_model/lesrcnn_iter_50000_weight.pdparams
[04/28 00:23:30] ppgan.engine.trainer INFO: Test iter: [0/20][04/28 00:24:19] ppgan.engine.trainer INFO: Metric psnr: 24.9379[04/28 00:24:19] ppgan.engine.trainer INFO: Metric ssim: 0.7457
对偶回归网络 DRN
训练 DRN_PSNR 模型
DRN_PSNR 模型50000轮，用时约5.4小时
In [ ]
%cd /home/aistudio/PaddleGAN/!python -u tools/main.py --config-file configs/drn_psnr_x4_div2k.yaml
测试 DRN_PSNR 模型
运行/home/aistudio/pretrained_model/DRN_PSNR_50000_weight.pdparams代码测试 DRN 模型。
In [ ]
%cd /home/aistudio/PaddleGAN/!python tools/main.py --config-file configs/drn_psnr_x4_div2k.yaml --evaluate-only --load /home/aistudio/pretrained_model/drn_iter_50000_weight.pdparams
[04/28 00:25:05] ppgan.engine.trainer INFO: Test iter: [0/20][04/28 00:25:44] ppgan.engine.trainer INFO: Test iter: [10/20][04/28 00:26:16] ppgan.engine.trainer INFO: Metric psnr: 25.4040[04/28 00:26:16] ppgan.engine.trainer INFO: Metric ssim: 0.7598
ESRGAN、LESRCNN、DRN 图像超分效果对比
ESRGAN、LESRCNN、DRN 模型在迭代50000轮后，通过“训练时长”、“PSNR”、“SSIM”三个指标以及生成的图像清晰度来进行三者的数值与效果对比。
数值展示和模型下载
ESRGAN_PSNR卡通画超分数据集500005.7h25.40300.7585ESRGAN PSNRLESRCNN_PSNR卡通画超分数据集500002.3h24.93790.7457LESRCNN PSNRDRN_PSNR卡通画超分数据集500005.4h25.40400.7598DRN PSNR
超分效果展示
（Fork运行后可以看到超分效果的对比）
@@##@@ @@##@@ @@##@@ @@##@@ @@##@@ @@##@@ @@##@@ @@##@@ @@##@@ @@##@@ @@##@@ @@##@@ @@##@@ @@##@@ @@##@@ 
以上就是『行远见大』图像超分效果对比，以ESRGAN、LESRCNN、DRN模型为例的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/57879.html
微信扫一扫 
支付宝扫一扫 
