“行远见大”项目借助飞桨开源社区的AI技术修复老视频。通过DeOldify着色、EDVR修复、DAIN插帧等模型，运用GAN等技术，将低质老视频转为高清彩色，提升帧率与画质。项目介绍了修复原理、代码实践流程，致敬开源，让经典在高清中永存，满足人们怀旧与高品质观影需求。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
『行远见大』昨日重现 Yesterday Once More
项目简介
我们走得太快了，快到灵魂追不上我们的步伐；
我们走得太慢了，慢到跟不上时代前进的步伐。
鱼与熊掌不可兼得，幸好有飞桨让我看到可能，
AI赋能经典，灵魂亦能感受到时代跳动的脉搏。
效果展示
AI修复后的效果展示
对照组：原版黑白电影
向开源致敬！
大家好，我是行远见大。欢迎你与我一同建设飞桨开源社区，知识分享是一种美德，让我们向开源致敬！
经典永存
浮生若梦，用一段韶光，苍老了一段年华。岁月的洪流，卷走了青春，卷走了年华，剩下的只是一个被岁月刻下深深印痕的躯壳和一颗沧桑的心。只有在夜深人静之际，时间才真正属于自己。夜深了，月光似水柔柔地洒向大地，把上海城笼罩在琥珀色的月华之中，低酌一口春茶，享受片刻的宁静，脑海中浮现出儿时的记忆，有一种怀旧叫“童年经典”，每个人心中总有那么几部挥之不去的老电影。
掏出自己珍藏的CD，电视中播放出那些熟悉的经典镜头时，画面大都是模糊不清，让人不忍直视。随着科技的发展，现在家庭大多使用4K高清电视，不要说480P、720P、就连1080P都满足不了高品质家庭的观影需求，所以非4K转4K、8K HDR高清视频将成为市场主流趋势。
值得庆幸的是AI视频修复横空出世了，不仅是把低分辨率的视频放大输出成高分辨率这么简单，而是通过生成对抗网络（GAN），运用着色算法、修复算法、插帧算法使黑白电影转为彩色电影，修复老电影磨损划痕画面，提高帧率让画面人物动作更流畅，还可以增强色彩使画质更饱满，AI修复后效果能达到高清标准，满足了人们日益增长的美好生活需要，让你在重温经典的同时，更能享受影院级画质，让记忆更清晰，让经典永留存。
视频修复原理
着色模型 DeOldify
DeOldify 采用自注意力机制的生成对抗网络。在图像的着色方面有着较好的效果，它采用了 NoGAN (一种新型的、高效的图像到图像)的生成对抗网络训练方法，可以更好地处理细节效果，渲染也更逼真。NoGAN 训练结合了 GAN 训练的优点（好看的色彩），同时消除了令人讨厌的副作用（如视频中的闪烁物体）。NoGAN 生成器是一个U-NET结构的网络，进行了预训练，使其利用常规损失函数，变得更强大、更快、更可靠。DeOldify 修复的老视频由孤立的图像生成，而不添加任何时间建模。该过程执行 30-60 分钟 “NoGAN” 训练的 GAN 部分，每次使用 1% 至 3% 的图像网络（imagenet）数据。然后，与静止图像着色一样，在重建视频之前对各个帧进行“去旧化 ”。
ppgan.apps.DeOldifyPredictor(output='output', weight_path=None, render_factor=32)
参数
output_path (str，可选的): 输出的文件夹路径，默认值：output.weight_path (None，可选的): 载入的权重路径，如果没有设置，则从云端下载默认的权重到本地。默认值：None。render_factor (int): 会将该参数乘以16后作为输入帧的resize的值，如果该值设置为32， 则输入帧会resize到(32 * 16, 32 * 16)的尺寸再输入到网络中。
修复模型 EDVR
EDVR模型提出了一个新颖的视频具有增强可变形卷积的还原框架：第一，为了处理大动作而设计的一个金字塔，级联和可变形（PCD）对齐模块，使用可变形卷积以从粗到精的方式在特征级别完成对齐；第二，提出时空注意力机制（TSA）融合模块，在时间和空间上都融合了注意机制，用以增强复原的功能。
ppgan.apps.EDVRPredictor(output='output', weight_path=None)
参数
output_path (str，可选的): 输出的文件夹路径，默认值：output.weight_path (None，可选的): 载入的权重路径，如果没有设置，则从云端下载默认的权重到本地。默认值：None。
插帧模型 DAIN
DAIN(深度感知视频帧插值) 模型通过探索深度的信息来显式检测遮挡。并且开发了一个深度感知的流投影层来合成中间流。在视频补帧方面有较好的效果，它可以将帧想象并插入现有视频剪辑的关键帧之间。换句话说，DAIN首先分析并映射视频片段，然后插入在现有图像之间生成填充图像。
ppgan.apps.DAINPredictor( output_path='output', weight_path=None, time_step=None, use_gpu=True, remove_duplicates=False)
参数
output_path (str，可选的): 输出的文件夹路径，默认值：output.weight_path (None，可选的): 载入的权重路径，如果没有设置，则从云端下载默认的权重到本地。默认值：None。time_step (int): 补帧的时间系数，如果设置为0.5，则原先为每秒30帧的视频，补帧后变为每秒60帧。remove_duplicates (bool，可选的): 是否删除重复帧，默认值：False.
代码实践
环境配置
In [ ]
# 克隆最新的PaddleGAN仓库到当前目录# !git clone https://github.com/PaddlePaddle/PaddleGAN.git# 如果从github下载慢可以从gitee clone：!git clone https://gitee.com/paddlepaddle/PaddleGAN.git%cd PaddleGAN/!pip install -v -e .
In [2]
# 导入一些可视化需要的包import cv2import imageioimport numpy as npimport matplotlib.pyplot as pltimport matplotlib.animation as animationfrom IPython.display import HTMLimport warningswarnings.filterwarnings("ignore")import paddleprint("本项目基于Paddle的版本号为："+ paddle.__version__)
本项目基于Paddle的版本号为：2.0.2
In [3]
# 定义一个展示视频的函数def display(driving, fps, size=(8, 6)): fig = plt.figure(figsize=size) ims = [] for i in range(len(driving)): cols = [] cols.append(driving[i]) im = plt.imshow(np.concatenate(cols, axis=1), animated=True) plt.axis('off') ims.append([im]) video = animation.ArtistAnimation(fig, ims, interval=1000.0/fps, repeat_delay=1000) plt.close() return video
导入视频
In [4]
video_path = '/home/aistudio/work/yesterday_once_more.mp4'video_frames = imageio.mimread(video_path, memtest=False)# 获得视频的原分辨率cap = cv2.VideoCapture(video_path)fps = cap.get(cv2.CAP_PROP_FPS)HTML(display(video_frames, fps).to_html5_video())
2021-05-10 12:22:33,588 - INFO - Animation.save using 2021-05-10 12:22:33,590 - INFO - MovieWriter.run: running command: ['ffmpeg', '-f', 'rawvideo', '-vcodec', 'rawvideo', '-s', '576x432', '-pix_fmt', 'rgba', '-r', '25.0', '-loglevel', 'quiet', '-i', 'pipe:', '-vcodec', 'h264', '-pix_fmt', 'yuv420p', '-y', '/tmp/tmpppessv8v.m4v']
修复视频
使用着色(DeOldify)、修复(EDVR)、插帧(DAIN)这三个模型对该视频进行修复。原理请见上文“老视频修复用到的模型”。
nput参数表示输入的视频路径，output表示处理后的视频的存放文件夹，proccess_order 表示使用的模型和顺序。
注：1分钟老视频修复耗时约3个半小时，请耐心等待。
In [ ]
%cd /home/aistudio/PaddleGAN/applications/!python tools/video-enhance.py --input /home/aistudio/yesterday_once_more.mp4 --process_order DAIN DeOldify EDVR --output output_dir
导出视频
处理好的视频位于output_dir文件夹里，路径：/home/aistudio/PaddleGAN/applications/output_dir/EDVR/yesterday_once_more_deoldify_out_edvr_out.mp4。
左侧目录yesterday_once_more_output.mp4是AI修复好的彩色视频，选中并点击下载（第二个键）即可在本地播放。
In [5]
# 效果展示output_video_path = '/home/aistudio/work/yesterday_once_more_output.mp4'video_frames = imageio.mimread(output_video_path, memtest=False)# 获得视频的原分辨率cap = cv2.VideoCapture(output_video_path)fps = cap.get(cv2.CAP_PROP_FPS)HTML(display(video_frames, fps).to_html5_video())
2021-05-10 12:37:22,200 - INFO - Animation.save using 2021-05-10 12:37:22,202 - INFO - MovieWriter.run: running command: ['ffmpeg', '-f', 'rawvideo', '-vcodec', 'rawvideo', '-s', '576x432', '-pix_fmt', 'rgba', '-r', '50.0', '-loglevel', 'quiet', '-i', 'pipe:', '-vcodec', 'h264', '-pix_fmt', 'yuv420p', '-y', '/tmp/tmpd5yy8hzl.m4v']
以上就是『行远见大』昨日重现 Yesterday Once More的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/40072.html
微信扫一扫 
支付宝扫一扫 
