Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $YECBGYFECGEAFWHA as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2

Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $BBWFDDBHHYHDXXAB as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2
14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍_创想鸟
原创投稿
  1. 创想鸟首页
  2. 用户投稿

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

程序猿 • • 用户投稿

meta的视频合成新框架给我们带来了一些惊喜

就今天的人工智能发展水平来说，文生图、图生视频、图像/视频风格迁移都已经不算什么难事。
生成式 AI 天赋异禀，能够毫不费力地创建或修改内容。尤其是图像编辑，在以十亿规模数据集为基础预训练的文本到图像扩散模型的推动下，经历了重大发展。这股浪潮催生了大量图像编辑和内容创建应用。
基于图像的生成模型所取得的成就基础上，下一个挑战的领域必然是为其增加「时间维度」，从而实现轻松而富有创意的视频编辑。
一种直接策略是使用图像模型逐帧处理视频，然而，生成式图像编辑本身就具有高变异性—即使根据相同的文本提示，也存在无数种编辑给定图像的方法。如果每一帧都独立编辑，很难保持时间上的一致性。
在最近的一篇论文中，来自Meta GenAI团队的研究者提出了 F%ignore_a_1%ry——通过对图像编辑扩散模型进行「简单的改编」，大大增强了AI在视频编辑上的表现。
以下是Fairy的编辑视频效果展示：

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

Fairy 生成 120 帧 512×384 视频（4 秒时长，30 FPS）的时间仅为 14 秒，比之前的方法至少快 44 倍。一项涉及 1000 个生成样本的全面用户研究证实，该方法生成质量上乘，明显优于现有方法。
怎么做到的？
据论文介绍，Fairy以基于锚点的跨帧注意力概念为核心，这种机制可隐性地跨帧传播扩散特征，确保了时间一致和高保真的合成效果。Fairy 不仅解决了以往模型在内存和处理速度等方面的局限性，还通过独特的数据增强策略提高了时间一致性，这种策略使模型等价于源图像和目标图像的仿射变换。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

论文地址：https://arxiv.org/pdf/2312.13834.pdf
项目主页：https://fairy-video2video.github.io/
方法
Fairy在扩散模型特征的背景下对以前的跟踪-传播（tracking-and-propagation）范式进行了重新审视。特别是，该研究用对应估计（ correspondence estimation）架起了跨帧注意之间的桥梁，使得模型在扩散模型内可以跟踪和传播中间特征。
跨帧的注意力图可以解释为一种相似性度量，用来评估各个帧中token之间的对应关系，其中一个语义区域的特征会将更高的注意力分配给其他帧中的相似语义区域，如下图3所示 。
因此，当前的特征表示通过注意力帧间相似区域的加权和进行细化和传播，从而有效地最小化帧之间的特征差异。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

一系列操作下来产生了基于锚点的模型，这是 Fairy 的核心组件。
为了确保生成视频的时间一致性，该研究采样了K个锚点帧，从而提取扩散特征，并且提取的特征被定义为一组要传播到连续帧的全局特征。当生成每个新帧时，该研究针对锚点帧的缓存特征将自注意力层替换为跨帧注意力。通过跨帧注意力，每个帧中的 token都采用锚点帧中表现出类似语义内容的特征，从而增强一致性。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

实验评估
在实验部分，研究者主要基于指令型图像编辑模型来实现Fairy，并使用跨帧注意力替换模型的自注意力。他们将锚帧的数量设置为3。模型可以接受不同长宽比的输入，并将较长尺寸的输入分辨率重新扩展为512，并保持长宽比不变。研究者对输入视频的所有帧进行编辑，而不进行下采样。所有计算在8块A100 GPU上分配完成。
定性评估
研究者首先展示了Fairy的定性结果，如下图5所示，Fairy可以对不同的主题进行编辑。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

Vizard Vizard

AI驱动的视频编辑器

Vizard 101 查看详情 Vizard

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

在下图6中，研究者展示了Fairy可以按照文本指令来进行不同类型的编辑，包括风格化、角色变化、局部编辑、属性编辑等。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

下图9展示了Fairy可以根据指令将源角色转换为不同的目标角色。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

定量评估
研究者在下图7中展示了整体质量比较结果，其中Fairy生成的视频更受欢迎。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

下图10展示了与基线模型的视觉比较结果。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

更多技术细节和实验结果参阅原论文。

以上就是14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/869863.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

413.8K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
《生化危机9》制作人谈“里昂回归”：大家别信！
上一篇 2025年11月28日 04:34:02
漫蛙manwa全集阅读网页 manwa漫蛙漫画入口阅读链接
下一篇 2025年11月28日 04:34:02

相关推荐

  • Inkscape如何导出AI生成的矢量图片？教你快速保存图像的步骤 用户投稿

    Inkscape如何导出AI生成的矢量图片？教你快速保存图像的步骤

    答案：在Inkscape中导出矢量图需根据用途选择格式，网页用优化SVG并转文本为路径，印刷则导出为PDF/EPS、转文字为路径、确保高分辨率位图，同时注意颜色模式与出血设置。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 在Inkscap…

    程序猿的头像 程序猿
    2026年9月22日
    700
  • Laravel 8 登录后重定向至仪表盘的策略与实践 用户投稿

    Laravel 8 登录后重定向至仪表盘的策略与实践

    本教程详细阐述了在 Laravel 8 中实现用户登录后重定向到仪表盘的多种策略。我们将探讨如何通过配置 LoginController 的 $redirectTo 属性、利用 RouteServiceProvider 定义常量以及在自定义登录方法中进行精确控制来管理重定向流程。文章还涵盖了相关中间…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • VSCode配置GDB调试器 深入掌握VSCode调试C程序技巧 用户投稿

    VSCode配置GDB调试器 深入掌握VSCode调试C程序技巧

    配置vscode中gdb调试c程序的核心是正确设置tasks.json和launch.json；2. tasks.json负责使用gcc -g编译生成带调试信息的可执行文件，确保prelaunchtask与launch.json中的program路径一致；3. launch.json指定调试器gdb…

    程序猿的头像 程序猿
    2026年9月22日
    100
  • java定时任务之quartz 用户投稿

    java定时任务之quartz

    大家好，很高兴再次与大家见面，我是你们的朋友全栈君。 一、Quartz简介 在企业应用中，我们常常需要处理定时任务调度，比如每天凌晨生成前一天的报表，每小时生成一次汇总数据等。Quartz是一个著名的任务调度框架，它可以与J2SE和J2EE应用结合，功能非常强大，易于与Spring集成，使用起来非常…

    程序猿的头像 程序猿
    2026年9月22日
    100
  • Java中异常处理与方法返回值结合 用户投稿

    Java中异常处理与方法返回值结合

    异常发生时不应返回默认值，而应通过抛出异常或使用Optional、自定义结果类等方式明确传递错误信息，确保调用方能正确处理失败情况，提升代码健壮性与可读性。 在Java中，异常处理与方法返回值的结合是一个常见的编程问题。理解它们之间的关系有助于写出更健壮、可读性更强的代码。当一个方法可能发生异常时，…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • tk做养生类目起号前期发什么视频？tk表示什么类目？ 用户投稿

    tk做养生类目起号前期发什么视频？tk表示什么类目？

    在TikTok上运营养生类账号，起号阶段的内容策略尤为关键。优质的内容不仅能快速吸引目标用户，还能为后续发展奠定良好基础。本文将深入解析初期应发布的视频类型，并澄清“TK”所指的平台属性及内容分类体系。 一、养生类目起号初期适合发布哪些视频内容？ 刚开始做养生赛道时，重点不在于变现，而在于建立专业形…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • PHP如何利用缓存优化实时输出_PHP实时输出与缓存结合优化 用户投稿

    PHP如何利用缓存优化实时输出_PHP实时输出与缓存结合优化

    PHP实时输出需结合输出缓冲控制与flush()强制推送，同时考虑服务器和浏览器缓存影响；2. 长时间任务应使用APCu或Redis缓存频繁数据，避免重复计算；3. 动态页面可采用分块输出与片段缓存策略，静态内容从缓存读取，动态部分边生成边输出；4. 更优方案是通过异步任务与Redis存储进度，前端…

    程序猿的头像 程序猿
    2026年9月22日
    000

  • 华为天际通Go将支持eSIM：设备在路上了

    华为天际通Go将支持eSIM：设备在路上了华为天际通Go将支持eSIM：设备在路上了华为天际通Go将支持eSIM：设备在路上了华为天际通Go将支持eSIM：设备在路上了

    9月3日消息，今年的iphone 17 air将仅支持esim，彻底移除实体sim卡槽结构。随着新品发布日期的临近，国内esim政策的进展也愈发引人关注。 然而综合多方信息来看，iPhone 17 Air国行版本可能无法赶上首发，因前期在国内无法使用eSIM服务，导致该机型短期内难以在国内上市。 相…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    000
  • VSCode配置C语言调试环境 从零开始VSCode搭建C开发工具 用户投稿

    VSCode配置C语言调试环境 从零开始VSCode搭建C开发工具

    要从零开始在#%#$#%@%@%$#%$#%#%#$%@_e2fc++805085e25c9761616c00e065bfe8中搭建c语言开发和调试环境，首先需安装vscode本体、c/c++编译器（如mingw或gcc）并配置系统环境变量，接着安装vscode的c/c++扩展，然后创建项目并编写c…

    程序猿的头像 程序猿
    2026年9月22日
    000

  • 如何用PhotoLab的AI裁剪图片？快速实现智能图像裁剪教程

    如何用PhotoLab的AI裁剪图片？快速实现智能图像裁剪教程如何用PhotoLab的AI裁剪图片？快速实现智能图像裁剪教程如何用PhotoLab的AI裁剪图片？快速实现智能图像裁剪教程如何用PhotoLab的AI裁剪图片？快速实现智能图像裁剪教程

    PhotoLab的AI裁剪功能通过智能识别主体与构图原则，提供优化裁剪建议，区别于传统手动裁剪的纯物理操作，能自动应用美学法则提升照片视觉吸引力；在人像、社交媒体适配、风景静物等场景中表现突出，尤其擅长保留核心焦点并适配多平台比例；用户可导入图片后使用AI裁剪工具，系统分析画面并生成建议裁剪框，支持…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    000
  • 递归实现列表排序检查与条件移除最大值 用户投稿

    递归实现列表排序检查与条件移除最大值

    本文详细介绍了如何使用Java递归方法处理整数列表。核心内容包括：首先检查列表是否已排序，如果已排序则直接返回false；如果未排序，则查找列表中的最大值。仅当最大值位于列表的起始或结束位置时，才将其移除并递归地继续处理列表。如果最大值位于列表中间，则打印当前列表并终止递归。 在数据处理和算法设计中…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • VSCode如何实现代码可视化调试 VSCode执行流程图形化分析方法 用户投稿

    VSCode如何实现代码可视化调试 VSCode执行流程图形化分析方法

    vscode的可视化调试功能通过内置调试器和扩展生态，显著提升代码理解与问题排查效率。1. 首先配置launch.json文件以定义调试环境，支持多种语言如node.js、python等；2. 在代码中设置断点，程序运行至断点时暂停，便于检查变量状态和执行上下文；3. 利用调试面板查看变量、监视表达…

    程序猿的头像 程序猿
    2026年9月22日
    000

  • MySQL备份压缩与加密技巧_MySQL提升备份安全与效率

    MySQL备份压缩与加密技巧_MySQL提升备份安全与效率MySQL备份压缩与加密技巧_MySQL提升备份安全与效率MySQL备份压缩与加密技巧_MySQL提升备份安全与效率MySQL备份压缩与加密技巧_MySQL提升备份安全与效率

    mysql备份压缩与加密的核心在于减少存储空间并提升数据安全性。1. 压缩能显著降低存储成本，提升传输效率，加快恢复速度，简化备份管理，并有助于满足合规要求；2. 加密则通过防止未授权访问保障数据安全。实现方式主要有：1. 使用mysqldump结合gzip和gpg/openssl进行逻辑备份、压缩…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    100
  • VS Code中Dockerized PHP项目：解决PHP版本冲突的教程 用户投稿

    VS Code中Dockerized PHP项目：解决PHP版本冲突的教程

    本教程旨在解决在VS Code中开发Dockerized PHP项目时，VS Code默认识别宿主机PHP版本而非容器内PHP版本的问题。核心解决方案是利用VS Code的Remote – Containers扩展，实现直接在Docker容器内部进行代码开发，从而确保VS Code及其所…

    程序猿的头像 程序猿
    2026年9月22日
    200

  • 蔡司2亿影像大小王，年度影像旗舰vivo X300系列发布！

    蔡司2亿影像大小王，年度影像旗舰vivo X300系列发布！蔡司2亿影像大小王，年度影像旗舰vivo X300系列发布！蔡司2亿影像大小王，年度影像旗舰vivo X300系列发布！蔡司2亿影像大小王，年度影像旗舰vivo X300系列发布！

    PConline最新资讯，vivo于今晚正式揭晓X300系列新机，定位“全焦段影像旗舰”，起售价为4399元。该系列成为首款搭载联发科天玑9500芯片的智能手机，并携手三星与索尼共同定制多颗影像传感器，在影像能力、屏幕素质及续航表现上力求全面跃升。 产品线涵盖X300与X300 Pro两款机型，价格…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    000

  • 从AI场景搭建到蝴蝶号运营，全流程实战攻略

    从AI场景搭建到蝴蝶号运营，全流程实战攻略从AI场景搭建到蝴蝶号运营，全流程实战攻略从AI场景搭建到蝴蝶号运营，全流程实战攻略从AI场景搭建到蝴蝶号运营，全流程实战攻略

    做ai内容变现需先明确方向再选工具，注册蝴蝶号要模拟真实行为，用ai提升效率但需调整内容细节，流量转化重于播放量。一、先确定内容类型和风格，根据方向选择合适ai工具链搭建流程，用免费api测试效果。二、蝴蝶号注册尽量用企业主体，资料完整，养号阶段关注同类账号，保持每天发布1~2条内容，视频控制在30…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    100
  • GIMP中如何利用AI裁剪图片？一步步完成高效图像裁剪方法 用户投稿

    GIMP中如何利用AI裁剪图片？一步步完成高效图像裁剪方法

    GIMP虽无“一键AI裁剪”功能，但可通过智能选择工具（如前景选择、智能剪刀）精准选中主体，结合Resynthesizer插件的内容感知填充实现类AI裁剪效果；对于更高要求，可协同Remove.bg等外部AI工具完成自动抠图，再导入GIMP进行裁剪或背景替换，形成高效智能裁剪工作流。 ☞☞☞AI 智…

    程序猿的头像 程序猿
    2026年9月22日
    100
  • 疑似荣耀500系列入网 代号Merry全系支持80W有线快充 用户投稿

    疑似荣耀500系列入网 代号Merry全系支持80W有线快充

    10月25日，知名数码博主“数码闲聊站”透露，荣耀500系列新机已现身工信部，型号分别为mep-an00和mey-an00，预计代号为merry/merryp，全系支持80w有线快充。该博主还表示，此前上手的样机提供了黑色、银色、粉色和蓝色等多种配色方案，外观设计或将延续前代爆款风格。 据最新消息，…

    程序猿的头像 程序猿
    2026年9月22日
    000

  • Vision Transformer 必读系列之图像分类综述(三): MLP、ConvMixer 和架构分析

    Vision Transformer 必读系列之图像分类综述(三): MLP、ConvMixer 和架构分析Vision Transformer 必读系列之图像分类综述(三): MLP、ConvMixer 和架构分析Vision Transformer 必读系列之图像分类综述(三): MLP、ConvMixer 和架构分析Vision Transformer 必读系列之图像分类综述(三): MLP、ConvMixer 和架构分析

    号外号外！awesome-vit 上新啦， 欢迎大家 Star Star Star ~ https://github.com/open-mmlab/awesome-vit 前言 在 Vision Transformer 必读系列之图像分类综述(一)：概述 一文中对 Vision Transforme…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    200

  • 蝴蝶号无人直播完整流程详解：搭建+开播+引流

    蝴蝶号无人直播完整流程详解：搭建+开播+引流蝴蝶号无人直播完整流程详解：搭建+开播+引流蝴蝶号无人直播完整流程详解：搭建+开播+引流蝴蝶号无人直播完整流程详解：搭建+开播+引流

    蝴蝶号无人直播的完整流程包括前期准备、直播搭建、开播设置、引流推广、监控与维护五个步骤。前期准备需完成账号注册认证、硬件设备配置、软件安装及素材准备；直播搭建涉及场景设置、素材导入、循环播放设定及自动化脚本配置；开播设置包括直播间信息填写、推流配置与测试直播；引流推广可通过平台内工具、社交媒体、内容…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    100

发表回复

登录后才能评论
关注微信