该项目基于PaddleHub2.4.0，实现动态视频转漫画书功能。以人民美术出版社版《水浒传》连环画为风格学习数据，借助其预训练模型，通过安装依赖、处理数据、图片转漫画、视频关键帧转漫画等步骤，抽取视频关键帧并转为漫画风格，为视频创作提供新形式，展现了AI在文化创意领域的潜力。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
基于paddlehub2.4.0: 让动态视频生成漫画书！【一键运行】
一. 项目背景
一键运行
在数字化时代，视频内容的创作与消费呈现出爆炸式增长，从个人Vlog到专业影视作品，无一不丰富着我们的视觉体验。然而，随着技术的进步和审美需求的多样化，用户对于视频内容的呈现形式提出了更高要求，渴望在保持原视频动态魅力的同时，探索更多创意与个性化的表达方式。漫画作为一种独特的艺术形式，以其夸张的表现手法、丰富的色彩运用和简洁的叙事风格，深受全球观众喜爱。因此，将动态视频转化为漫画风格，不仅能够为视频内容增添新的视觉维度，还能激发观众的无限想象，满足他们对创意内容的渴求。
基于这一背景，我们提出了“基于paddlehub2.4.0: 让动态视频生成漫画书”项目。该项目旨在利用PaddleHub这一强大的预训练模型管理工具，结合深度学习技术，实现将普通动态视频自动转化为具有漫画风格视频或漫画书的功能。PaddleHub作为百度飞桨（PaddlePaddle）的深度学习平台中的模型管理和迁移学习工具，提供了丰富的预训练模型，能够极大地降低开发门槛，加速模型部署和应用。特别是随着PaddleHub 2.4.0版本的发布，其在模型性能、易用性和扩展性方面均有了显著提升，为本项目提供了坚实的技术支撑。
二. 数据来源
水浒传连环画，人民美术出版社版。png格式，压缩为index.zip，可以用于学习漫画风格。
三. 技术原理
PaddleHub 是基于 PaddlePaddle 开发的预训练模型管理工具，可以借助预训练模型更便捷地开展迁移学习工作，旨在让 PaddlePaddle 生态下的开发者更便捷体验到大规模预训练模型的价值。
PaddleHub 目前的预训练模型覆盖了图像分类、目标检测、词法分析、Transformer、情感分析五大类别。未来会持续开放更多类型的深度学习模型，如语言模型、视频分类、图像生成等预训练模型。
PaddleHub相关资料，请参考：PaddleHub
四. 代码实现
4.1. 安装依赖
In [ ]
# 安装 paddlehub!pip install paddlehub!hub install stylepro_artistic
4.2. 数据处理
In [3]
%%capture!unzip /home/aistudio/data/data93870/index.zip -d /home/aistudio/work/style
In [65]
#定义函数计算单通道的直方图的相似值，越小差异越大def calculate_delta(image1=False, image2=False): if type(image1)!=type(image2) : degree = [1e-10] else: # 灰度直方图算法 # 计算单通道的直方图的相似值 hist1 = cv2.calcHist([image1], [0], None, [256], [0.0, 255.0]) hist2 = cv2.calcHist([image2], [0], None, [256], [0.0, 255.0]) # 计算直方图的重合度 degree = 0 for i in range(len(hist1)): if hist1[i] != hist2[i]: degree = degree + (1 - abs(hist1[i] - hist2[i]) / max(hist1[i], hist2[i])) else: degree = degree + 1 degree = degree / len(hist1) while type(degree)==type([]): degree=degree[0] degree=[degree] return degreeplt.subplot(1, 4, 1) img1 = load_comic_photo('/home/aistudio/work/style/06/0012.png')plt.imshow( cv2.cvtColor( img1 ,cv2.COLOR_BGR2RGB) )plt.axis('off')plt.subplot(1, 4, 2) img2 = load_comic_photo('/home/aistudio/work/style/05/0013.png')plt.imshow( cv2.cvtColor( img2 ,cv2.COLOR_BGR2RGB) )plt.axis('off')plt.subplot(1, 4, 3) img3 = load_comic_photo('/home/aistudio/work/style/05/0014.png')plt.imshow( cv2.cvtColor( img3 ,cv2.COLOR_BGR2RGB) )plt.axis('off')plt.subplot(1, 4, 4) img4 = load_comic_photo('/home/aistudio/work/style/05/0015.png')plt.imshow( cv2.cvtColor( img4 ,cv2.COLOR_BGR2RGB) )plt.axis('off')plt.tight_layout() # 自动调整子图参数 plt.show()
4.3. 图片转漫画
In [66]
import paddlehub as hub#图片转为漫画stylepro_artistic = hub.Module(name="stylepro_artistic") #加载预训练模型def get_cartoon_img(src_img_data): result = stylepro_artistic.style_transfer( images=[{ 'content': src_img_data , 'styles': [load_comic_photo('/home/aistudio/work/style/05/0013.png') ,load_comic_photo('/home/aistudio/work/style/07/0015.png') ] }] ) t = result[0]['data'] t = cv2.cvtColor( t,cv2.COLOR_RGB2GRAY) # 先要转换为灰度图片 t = cv2.medianBlur(t,3) return t
[2024-09-06 21:17:28,641] [ WARNING] - The _initialize method in HubModule will soon be deprecated, you can use the __init__() to handle the initialization of the object
4.4. 视频关键帧转漫画
In [51]
## 将视频转换为图片,抽取关键帧import osimport cv2#显示图片def showimg(img, isgray=False): plt.axis("off") if isgray == True: plt.imshow(img, cmap='gray') else: plt.imshow(img) plt.show()def get_video_key_frame(video_src,frame_path='',show_key_frame=False,show_comic_key_frame=False): if frame_path and not os.path.exists(frame_path): os.mkdir(frame_path) if frame_path and not os.path.exists(frame_path+'results/'): frame_path_ = frame_path+'results/' os.mkdir(frame_path_) vc = cv2.VideoCapture(video_src) i_imp =-1000 #上一次保存的帧号 (frame_last,delta_last) =(False,0)#上一帧图、上一帧的差异指数 if vc.isOpened(): rval, frame = vc.read() else: rval = False i = 0 #当前帧号 while rval: rval, frame = vc.read() if rval: delta = calculate_delta(frame_last, frame )[0] # 计算差异程度 pct = abs(delta - delta_last)/(delta+0.000001) #差异程度的变化量 if pct>0.2 and i-i_imp>10: #差异程度变化很大，且间隔半秒以上 if show_key_frame: None if frame_path: cv2.imwrite(frame_path+'img_{}.jpg'.format(i), frame) if show_comic_key_frame: frame_cartoon = get_cartoon_img(frame) if frame_path: cv2.imwrite(frame_path+'results/'+'img_{}.jpg'.format(i), frame_cartoon) i_imp = i (frame_last,delta_last) = ( frame , delta ) i += 1
In [52]
video = 'work/shipin.mp4'frame_path = 'work/mov/picture/'# 抽取关键帧get_video_key_frame(video,frame_path,show_key_frame=True,show_comic_key_frame=False)# 关键帧转为漫画get_video_key_frame(video,frame_path,show_key_frame=False,show_comic_key_frame=True)
4.5. 结果展示
In [57]
!mv /home/aistudio/work/mov/picture/results /home/aistudio/work/movdef sort_images(img_folder): """按文件名中的数字排序图片""" # 使用glob匹配所有jpg图片 img_paths = [os.path.join(img_folder, img) for img in os.listdir(img_folder) if img.endswith('.jpg')] # 按文件名中的数字排序 img_paths.sort(key=lambda x: int(os.path.splitext(os.path.basename(x))[0].split('_')[1])) return img_paths img_list_1 = sort_images("/home/aistudio/work/mov/picture")img_list_2 = sort_images("/home/aistudio/work/mov/results")print("img_list_1:",img_list_1)print("img_list_2:",img_list_2)
img_list_1: ['/home/aistudio/work/mov/picture/img_1.jpg', '/home/aistudio/work/mov/picture/img_121.jpg', '/home/aistudio/work/mov/picture/img_253.jpg', '/home/aistudio/work/mov/picture/img_393.jpg', '/home/aistudio/work/mov/picture/img_476.jpg', '/home/aistudio/work/mov/picture/img_540.jpg', '/home/aistudio/work/mov/picture/img_764.jpg', '/home/aistudio/work/mov/picture/img_850.jpg', '/home/aistudio/work/mov/picture/img_885.jpg', '/home/aistudio/work/mov/picture/img_904.jpg', '/home/aistudio/work/mov/picture/img_929.jpg', '/home/aistudio/work/mov/picture/img_990.jpg', '/home/aistudio/work/mov/picture/img_1002.jpg', '/home/aistudio/work/mov/picture/img_1037.jpg', '/home/aistudio/work/mov/picture/img_1106.jpg', '/home/aistudio/work/mov/picture/img_1121.jpg', '/home/aistudio/work/mov/picture/img_1145.jpg', '/home/aistudio/work/mov/picture/img_1162.jpg']img_list_2: ['/home/aistudio/work/mov/results/img_1.jpg', '/home/aistudio/work/mov/results/img_121.jpg', '/home/aistudio/work/mov/results/img_253.jpg', '/home/aistudio/work/mov/results/img_393.jpg', '/home/aistudio/work/mov/results/img_476.jpg', '/home/aistudio/work/mov/results/img_540.jpg', '/home/aistudio/work/mov/results/img_764.jpg', '/home/aistudio/work/mov/results/img_850.jpg', '/home/aistudio/work/mov/results/img_885.jpg', '/home/aistudio/work/mov/results/img_904.jpg', '/home/aistudio/work/mov/results/img_929.jpg', '/home/aistudio/work/mov/results/img_990.jpg', '/home/aistudio/work/mov/results/img_1002.jpg', '/home/aistudio/work/mov/results/img_1037.jpg', '/home/aistudio/work/mov/results/img_1106.jpg', '/home/aistudio/work/mov/results/img_1121.jpg', '/home/aistudio/work/mov/results/img_1145.jpg', '/home/aistudio/work/mov/results/img_1162.jpg']
In [64]
import cv2 import matplotlib.pyplot as plt for i in range(len(img_list_1)): # 读取图片 image1 = cv2.imread(img_list_1[i]) # 替换为你的图片路径 image2 = cv2.imread(img_list_2[i]) # 替换为你的图片路径 image1_rgb = cv2.cvtColor(image1, cv2.COLOR_BGR2RGB) image2_rgb = cv2.cvtColor(image2, cv2.COLOR_BGR2RGB) # 使用matplotlib显示图片 fig, axes = plt.subplots(1, 2, figsize=(10, 5)) # 创建一个1行2列的图形 axes[0].imshow(image1_rgb) # 显示第一张图片 axes[0].axis('off') # 关闭坐标轴 axes[1].imshow(image2_rgb) # 显示第二张图片 axes[1].axis('off') # 关闭坐标轴 plt.show()
五. 总结
本项目成功利用PaddleHub 2.4.0的深度学习技术，实现了动态视频到漫画风格视频的自动化转换，为视频内容创作带来了全新的表现形式，展现了AI技术在文化创意领域的巨大潜力。
通过漫画风格的视频生成，极大地丰富了用户的视觉体验，使视频内容更加生动有趣，满足了用户对创意内容的多样化需求，提升了用户满意度。
本项目为AI技术在文化创意产业的应用提供了有力支持，展示了AI技术在提升内容创作效率、丰富内容表现形式方面的巨大价值，为行业带来了新的增长点和发展机遇。
以上就是基于paddlehub2.4.0: 让动态视频生成漫画书！【一键运行】的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/43160.html
微信扫一扫 
支付宝扫一扫 
