投稿获客
  1. 创想鸟首页
  2. 科技

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

程序猿 • • 科技 • 阅读 0

meta的视频合成新框架给我们带来了一些惊喜

就今天的人工智能发展水平来说，文生图、图生视频、图像/视频风格迁移都已经不算什么难事。
生成式 AI 天赋异禀，能够毫不费力地创建或修改内容。尤其是图像编辑，在以十亿规模数据集为基础预训练的文本到图像扩散模型的推动下，经历了重大发展。这股浪潮催生了大量图像编辑和内容创建应用。
基于图像的生成模型所取得的成就基础上，下一个挑战的领域必然是为其增加「时间维度」，从而实现轻松而富有创意的视频编辑。
一种直接策略是使用图像模型逐帧处理视频，然而，生成式图像编辑本身就具有高变异性—即使根据相同的文本提示，也存在无数种编辑给定图像的方法。如果每一帧都独立编辑，很难保持时间上的一致性。
在最近的一篇论文中，来自Meta GenAI团队的研究者提出了 F%ignore_a_1%ry——通过对图像编辑扩散模型进行「简单的改编」，大大增强了AI在视频编辑上的表现。
以下是Fairy的编辑视频效果展示：

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

Fairy 生成 120 帧 512×384 视频（4 秒时长，30 FPS）的时间仅为 14 秒，比之前的方法至少快 44 倍。一项涉及 1000 个生成样本的全面用户研究证实，该方法生成质量上乘，明显优于现有方法。
怎么做到的？
据论文介绍，Fairy以基于锚点的跨帧注意力概念为核心，这种机制可隐性地跨帧传播扩散特征，确保了时间一致和高保真的合成效果。Fairy 不仅解决了以往模型在内存和处理速度等方面的局限性，还通过独特的数据增强策略提高了时间一致性，这种策略使模型等价于源图像和目标图像的仿射变换。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

论文地址：https://arxiv.org/pdf/2312.13834.pdf
项目主页：https://fairy-video2video.github.io/
方法
Fairy在扩散模型特征的背景下对以前的跟踪-传播（tracking-and-propagation）范式进行了重新审视。特别是，该研究用对应估计（ correspondence estimation）架起了跨帧注意之间的桥梁，使得模型在扩散模型内可以跟踪和传播中间特征。
跨帧的注意力图可以解释为一种相似性度量，用来评估各个帧中token之间的对应关系，其中一个语义区域的特征会将更高的注意力分配给其他帧中的相似语义区域，如下图3所示 。
因此，当前的特征表示通过注意力帧间相似区域的加权和进行细化和传播，从而有效地最小化帧之间的特征差异。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

一系列操作下来产生了基于锚点的模型，这是 Fairy 的核心组件。
为了确保生成视频的时间一致性，该研究采样了K个锚点帧，从而提取扩散特征，并且提取的特征被定义为一组要传播到连续帧的全局特征。当生成每个新帧时，该研究针对锚点帧的缓存特征将自注意力层替换为跨帧注意力。通过跨帧注意力，每个帧中的 token都采用锚点帧中表现出类似语义内容的特征，从而增强一致性。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

实验评估
在实验部分，研究者主要基于指令型图像编辑模型来实现Fairy，并使用跨帧注意力替换模型的自注意力。他们将锚帧的数量设置为3。模型可以接受不同长宽比的输入，并将较长尺寸的输入分辨率重新扩展为512，并保持长宽比不变。研究者对输入视频的所有帧进行编辑，而不进行下采样。所有计算在8块A100 GPU上分配完成。
定性评估
研究者首先展示了Fairy的定性结果，如下图5所示，Fairy可以对不同的主题进行编辑。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

Vizard Vizard

AI驱动的视频编辑器

Vizard 101 查看详情 Vizard

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

在下图6中，研究者展示了Fairy可以按照文本指令来进行不同类型的编辑，包括风格化、角色变化、局部编辑、属性编辑等。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

下图9展示了Fairy可以根据指令将源角色转换为不同的目标角色。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

定量评估
研究者在下图7中展示了整体质量比较结果，其中Fairy生成的视频更受欢迎。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

下图10展示了与基线模型的视觉比较结果。

14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍

更多技术细节和实验结果参阅原论文。

以上就是14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/869863.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

266.4K 文章
0 评论
1 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月28日 04:18:39
下一篇 2025年11月28日 04:34:13

相关推荐

  • 怎样用免费工具美化PPT_免费美化PPT的实用方法分享

    利用KIMI智能助手可免费将PPT美化为科技感风格，但需核对文字准确性；2. 天工AI擅长优化内容结构，提升逻辑性，适合高质量内容需求；3. SlidesAI支持语音输入与自动排版，操作便捷，利于紧急场景；4. Prezo提供多种模板，自动生成图文并茂幻灯片，适合学生与初创团队。 如果您有一份内容完…

    程序猿的头像 程序猿
    2025年12月6日 • 软件教程
    000

  • Pages怎么协作编辑同一文档 Pages多人实时协作的流程

    首先启用Pages共享功能，点击右上角共享按钮并选择“添加协作者”，设置为可编辑并生成链接；接着复制链接通过邮件或社交软件发送给成员，确保其使用Apple ID登录iCloud后即可加入编辑；也可直接在共享菜单中输入邮箱地址定向邀请，设定编辑权限后发送；最后在共享面板中管理协作者权限，查看实时在线状…

    程序猿的头像 程序猿
    2025年12月6日 • 软件教程
    100

  • REDMI K90系列正式发布，售价2599元起！

    10月23日，redmi k90系列正式亮相，推出redmi k90与redmi k90 pro max两款新机。其中，redmi k90搭载骁龙8至尊版处理器、7100mah大电池及100w有线快充等多项旗舰配置，起售价为2599元，官方称其为k系列迄今为止最完整的标准版本。 图源：REDMI红米…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    200

  • Linux中如何安装Nginx服务_Linux安装Nginx服务的完整指南

    首先更新系统软件包，然后通过对应包管理器安装Nginx，启动并启用服务，开放防火墙端口，最后验证欢迎页显示以确认安装成功。 在Linux系统中安装Nginx服务是搭建Web服务器的第一步。Nginx以高性能、低资源消耗和良好的并发处理能力著称，广泛用于静态内容服务、反向代理和负载均衡。以下是在主流L…

    程序猿的头像 程序猿
    2025年12月6日 • 运维
    000

  • Linux journalctl与systemctl status结合分析

    先看 systemctl status 确认服务状态，再用 journalctl 查看详细日志。例如 nginx 启动失败时，systemctl status 显示 Active: failed，journalctl -u nginx 发现端口 80 被占用，结合两者可快速定位问题根源。 在 Lin…

    程序猿的头像 程序猿
    2025年12月6日 • 运维
    100

  • 华为新机发布计划曝光：Pura 90系列或明年4月登场

    近日，有数码博主透露了华为2025年至2026年的新品规划，其中pura 90系列预计在2026年4月发布，有望成为华为新一代影像旗舰。根据路线图，华为将在2025年底至2026年陆续推出mate 80系列、折叠屏新机mate x7系列以及nova 15系列，而pura 90系列则将成为2026年上…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    100

  • Linux如何优化系统性能_Linux系统性能优化的实用方法

    优化Linux性能需先监控资源使用，通过top、vmstat等命令分析负载，再调整内核参数如TCP优化与内存交换，结合关闭无用服务、选用合适文件系统与I/O调度器，持续按需调优以提升系统效率。 Linux系统性能优化的核心在于合理配置资源、监控系统状态并及时调整瓶颈环节。通过一系列实用手段，可以显著…

    程序猿的头像 程序猿
    2025年12月6日 • 运维
    000

  • 曝小米17 Air正在筹备 超薄机身＋2亿像素＋eSIM技术？

    近日，手机行业再度掀起超薄机型热潮，三星与苹果已相继推出s25 edge与iphone air等轻薄旗舰，引发市场高度关注。在此趋势下，多家国产厂商被曝正积极布局相关技术，加速抢占这一细分赛道。据业内人士消息，小米的超薄旗舰机型小米17 air已进入筹备阶段。 小米17 Pro 爆料显示，小米正在评…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    000

  • 荣耀手表5Pro 10月23日正式开启首销国补优惠价1359.2元起售

    荣耀手表5pro自9月25日开启全渠道预售以来，市场热度持续攀升，上市初期便迎来抢购热潮，一度出现全线售罄、供不应求的局面。10月23日，荣耀手表5pro正式迎来首销，提供蓝牙版与esim版两种选择。其中，蓝牙版本的攀登者（橙色）、开拓者（黑色）和远航者（灰色）首销期间享受国补优惠价，到手价为135…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    000

  • 环境搭建docker环境下如何快速部署mysql集群

    使用Docker Compose部署MySQL主从集群，通过配置文件设置server-id和binlog，编写docker-compose.yml定义主从服务并组网，启动后创建复制用户并配置主从连接，最后验证数据同步是否正常。 在Docker环境下快速部署MySQL集群，关键在于合理使用Docker…

    程序猿的头像 程序猿
    2025年12月6日 • 数据库
    000

  • Xbox删忍龙美女角色 斯宾塞致敬板垣伴信被喷太虚伪

    近日，海外游戏推主@HaileyEira公开发表言论，批评Xbox负责人菲尔·斯宾塞不配向已故的《死或生》与《忍者龙剑传》系列之父板垣伴信致敬。她指出，Xbox并未真正尊重这位传奇制作人的创作遗产，反而在宣传相关作品时对内容进行了审查和删减。 所涉游戏为年初推出的《忍者龙剑传2：黑之章》，该作采用虚…

    程序猿的头像 程序猿
    2025年12月6日 • 游戏教程
    000

  • 如何在mysql中分析索引未命中问题

    答案是通过EXPLAIN分析执行计划，检查索引使用情况，优化WHERE条件写法，避免索引失效，结合慢查询日志定位问题SQL，并根据查询模式合理设计索引。 当 MySQL 查询性能下降，很可能是索引未命中导致的。要分析这类问题，核心是理解查询执行计划、检查索引设计是否合理，并结合实际数据访问模式进行优…

    程序猿的头像 程序猿
    2025年12月6日 • 数据库
    000

  • VSCode入门：基础配置与插件推荐

    刚用VSCode，别急着装一堆东西。先把基础设好，再按需求加插件，效率高还不卡。核心就三步：界面顺手、主题舒服、功能够用。 设置中文和常用界面 打开软件，左边活动栏有五个图标，点最下面那个“扩展”。搜索“Chinese”，装上官方出的“Chinese (Simplified) Language Pa…

    程序猿的头像 程序猿
    2025年12月6日 • 开发工具
    000

  • php查询代码怎么写_php数据库查询语句编写技巧与实例

    在PHP中进行数据库查询，最常用的方式是使用MySQLi或PDO扩展连接MySQL数据库。下面介绍基本的查询代码写法、编写技巧以及实用示例，帮助你高效安全地操作数据库。 1. 使用MySQLi进行查询（面向对象方式） 这是较为推荐的方式，适合大多数中小型项目。 // 创建连接$host = ‘loc…

    程序猿的头像 程序猿
    2025年12月6日 • 后端开发
    000

  • 重现iPhone X颠覆性时刻！苹果2027年跳过19命名iPhone 20

    10月23日，有消息称，苹果或将再次调整iPhone的发布节奏，考虑跳过“iPhone 19”，并于2027年直接推出“iPhone 20”系列。 此举据传是为了庆祝初代iPhone发布二十周年，同时开启新一轮的设计革新，目标是复刻2017年iPhone X带来的划时代变革。 据悉，苹果或将告别长期…

    程序猿的头像 程序猿
    2025年12月6日 • 手机教程
    000

  • 如何在mysql中使用索引提高查询效率

    合理创建索引可显著提升MySQL查询效率，应优先为WHERE、JOIN、ORDER BY等高频字段建立B-Tree复合索引，如CREATE INDEX idx_status_created ON users(status, created_at, id)，并遵循最左前缀原则；避免在索引列使用函数或前…

    程序猿的头像 程序猿
    2025年12月6日 • 数据库
    000

  • Linux命令行中free命令的使用方法

    free命令用于查看Linux内存使用情况，包括总内存、已用、空闲、共享、缓存及可用内存；使用-h可读格式显示，-s周期刷新，-c限制次数，-t显示总计，帮助快速评估系统内存状态。 free命令用于显示Linux系统中内存和交换空间的使用情况，包括物理内存、已用内存、空闲内存以及缓存和缓冲区的占用情…

    程序猿的头像 程序猿
    2025年12月6日 • 运维
    000

  • 在 Java 中使用 Argparse4j 接收 Duration 类型参数

    本文介绍了如何使用 `net.sourceforge.argparse4j` 库在 Java 命令行程序中接收 `java.time.Duration` 类型的参数。由于 `Duration` 不是原始数据类型，需要通过自定义类型转换器或工厂方法来处理。文章提供了两种实现方案，分别基于 `value…

    程序猿的头像 程序猿
    2025年12月6日 • java
    000

  • Linux命令行中tail -f命令的详细应用

    tail -f 用于实时监控文件新增内容，常用于日志查看；支持 -F 处理轮转、-n 指定行数、结合 grep 过滤，可监控多文件，需注意权限与资源释放。 tail -f 是 Linux 中一个非常实用的命令，主要用于实时查看文件的新增内容，尤其在监控日志文件时极为常见。它会持续输出文件末尾新增的数…

    程序猿的头像 程序猿
    2025年12月6日 • 运维
    000

  • Phaser 3游戏画布响应式布局：实现高度适配与宽度裁剪

    本文深入探讨phaser 3游戏画布在特定响应式场景下的布局策略，尤其是在需要画布高度适配父容器并允许左右内容裁剪时。通过结合phaser的scalemanager中的`height_controls_width`模式与精细的css布局，本教程将展示如何实现一个既能保持游戏画面比例，又能完美融入不同…

    程序猿的头像 程序猿
    2025年12月6日 • web前端
    000

发表回复

登录后才能评论
关注微信