Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $YECBGYFECGEAFWHA as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2

Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $BBWFDDBHHYHDXXAB as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2
Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT_创想鸟
原创投稿
  1. 创想鸟首页
  2. 用户投稿

Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT

程序猿 • • 用户投稿

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
Sora 的发布让广大研究者及开发者深刻认识到基于 Transformer 架构扩散模型的巨大潜力。作为这一类的代表性工作，DiT 模型抛弃了传统的 U-Net 扩散架构，转而使用直筒型去噪模型。鉴于直筒型 DiT 在隐空间生成任务上效果出众，后续的一些工作如 PixArt、SD3 等等也都不约而同地使用了直筒型架构。
然而令人感到不解的是，U-Net 结构是之前最常用的扩散架构，在图像空间和隐空间的生成效果均表现不俗；可以说 U-Net 的 inductive bias 在扩散任务上已被广泛证实是有效的。因此，北大和华为的研究者们产生了一个疑问：能否重新拾起 U-Net，将 U-Net 架构和 Transformer 有机结合，使扩散模型效果更上一层楼？带着这个问题，他们提出了基于 U-Net 的 DiT 架构 U-DiT。
Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT

论文标题：u-dits: downsample tokens in u-shaped diffusion transformers

论文地址：https://arxiv.org/pdf/2405.02730

GitHub 地址：https://github.com/YuchuanTian/U-DiT

即构数智人 即构数智人

即构数智人是由即构科技推出的AI虚拟数字人视频创作平台，支持数字人形象定制、短视频创作、数字人直播等。

即构数智人 36 查看详情 即构数智人

从一个小实验谈开去
首先，研究者开展了一个小实验，在实验中尝试着将 U-Net 和 DiT 模块简单结合。然而，如表 1 所示，在相似的算力比较下，U-Net 的 DiT（DiT-UNet）仅仅比原始的 DiT 有略微的提升。
Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT
                               在图 3 中，作者们展示了从原始的直筒 DiT 模型一步步演化到 U-DiT 模型的过程。
根据先前的工作，在扩散中 U-Net 的主干结构特征图主要为低频信号。由于全局自注意力运算机制需要消耗大量算力，在 U-Net 的主干自注意力架构中可能存在冗余。这时作者注意到，简单的下采样可以自然地滤除噪声较多的高频，强调信息充沛的低频。既然如此，是否可以通过下采样来消除对特征图自注意力中的冗余？
Token 下采样后的自注意力
由此，作者提出了下采样自注意力机制。在自注意力之前，首先需将特征图进行 2 倍下采样。为避免重要信息的损失，生成了四个维度完全相同的下采样图，以确保下采样前后的特征总维度相同。随后，在四个特征图上使用共用的 QKV 映射，并分别独立进行自注意力运算。最后，将四个 2 倍下采样的特征图重新融为一个完整特征图。和传统的全局自注意力相比，下采样自注意力可以使得自注意力所需算力降低 3/4。
令人惊讶的是，尽管加入下采样操作之后能够显著模型降低所需算力，但是却反而能获得比原来更好的效果（表 1）。
Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT
U-DiT：全面超越 DiT
根据此发现，作者提出了基于下采样自注意力机制的 U 型扩散模型 U-DiT。对标 DiT 系列模型的算力，作者提出了三个 U-DiT 模型版本（S/B/L）。在完全相同的训练超参设定下，U-DiT 在 ImageNet 生成任务上取得了令人惊讶的生成效果。其中，U-DiT-L 在 400K 训练迭代下的表现比直筒型 DiT-XL 模型高约 10 FID，U-DiT-S/B 模型比同级直筒型 DiT 模型高约 30 FID；U-DiT-B 模型只需 DiT-XL/2 六分之一的算力便可达到更好的效果（表 2、图 1）。
Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT
Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT
在有条件生成任务（表 3）和大图（512*512）生成任务（表 5）上，U-DiT 模型相比于 DiT 模型的优势同样非常明显。
Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT
Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT
研究者们还进一步延长了训练的迭代次数，发现 U-DiT-L 在 600K 迭代时便能优于 DiT 在 7M 迭代时的无条件生成效果（表 4、图 2）。
Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT
Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT
U-DiT 模型的生成效果非常出众，在 1M 次迭代下的有条件生成效果已经非常真实。
Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT
论文已被 NeurIPS 2024 接收，更多内容，请参考原论文。

以上就是Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/410607.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

413.8K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
封神幻想：查看装备特技四海潮生
上一篇 2025年11月6日 23:08:44
windows2012虚机从标准版升级到数据中心版
下一篇 2025年11月6日 23:08:54

相关推荐

  • 使用MockWebServer对FeignClient进行单元测试 用户投稿

    使用MockWebServer对FeignClient进行单元测试

    本文详细阐述了如何利用Spring Cloud LoadBalancer和MockWebServer对FeignClient进行高效单元测试。通过在测试配置中动态注册MockWebServer实例，并将其作为FeignClient的服务发现目标，开发者可以精确模拟后端API的行为，包括各种HTTP响…

    程序猿的头像 程序猿
    2026年9月22日
    000

  • Sublime快速定位MySQL死锁与阻塞问题_提高系统稳定性与并发处理能力

    Sublime快速定位MySQL死锁与阻塞问题_提高系统稳定性与并发处理能力Sublime快速定位MySQL死锁与阻塞问题_提高系统稳定性与并发处理能力Sublime快速定位MySQL死锁与阻塞问题_提高系统稳定性与并发处理能力Sublime快速定位MySQL死锁与阻塞问题_提高系统稳定性与并发处理能力

    mysql死锁和阻塞问题可通过sublime分析日志排查。1.使用关键词搜索及正则匹配快速定位死锁信息块；2.通过查找waiting状态事务并折叠无关内容聚焦阻塞链；3.结合general log与事务id查找sql执行顺序；4.利用语法高亮、列选择等功能提升日志可读性。这些方法能有效提高排查效率。…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    100
  • 常见分布式任务调度工具浅析 用户投稿

    常见分布式任务调度工具浅析

    一、背景 在日常业务中，经常会遇到需要在特定时间执行任务或周期性执行任务的需求。这些任务通常被归类为定时任务。为了满足这种需求，各种任务调度框架应运而生，如Timer、ScheduledThreadPoolExecutor（没错，它也可以用于定时任务）、Quartz等。然而，随着分布式和微服务的发展…

    程序猿的头像 程序猿
    2026年9月22日
    100
  • Canva中AI生成图片如何导出？教你快速保存设计作品的方法 用户投稿

    Canva中AI生成图片如何导出？教你快速保存设计作品的方法

    答案：Canva中导出AI生成图片的操作与普通图片相同，点击右上角“分享”按钮，选择“下载”，可选PNG、JPG、PDF、SVG、MP4或GIF等格式；为保证画质，建议优先选用PNG格式，避免有损压缩，同时选择高分辨率和合适尺寸，Pro用户可进一步调整质量与透明背景设置；除下载外，还可通过分享链接、…

    程序猿的头像 程序猿
    2026年9月22日
    800
  • VSCode安全更新机制解析 用户投稿

    VSCode安全更新机制解析

    VSCode通过自动检查、数字签名验证和用户可控策略确保更新安全。启动时后台定期HTTPS请求检查新版本，每日一次；安装包经平台特定签名（Windows Authenticode、macOS代码签名、Linux GPG）验证完整性；用户可选自动更新、提示或关闭，企业可集中管控；微软通过安全入口响应漏…

    程序猿的头像 程序猿
    2026年9月22日
    000

  • Linux系统中文件属性和权限实战操作

    Linux系统中文件属性和权限实战操作Linux系统中文件属性和权限实战操作Linux系统中文件属性和权限实战操作Linux系统中文件属性和权限实战操作

    —–原本今天的文章是昨天晚上就要更新的，但是由于昨天晚上下班回到住的地方，发现停电了，所以就没写成。今天是在上一篇文章–linux系统中文件类型的基础上，继续进行深入的学习。好了，直接开干。 一、文件的操作权限： 1、在这之前我想还是很有必要介绍对文件的操作权限（…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    000
  • PHP中为数组元素设置默认值的最佳实践：使用Null合并运算符 用户投稿

    PHP中为数组元素设置默认值的最佳实践：使用Null合并运算符

    本教程将介绍如何在PHP中为数组元素设置默认值，尤其当源数据可能为空或缺失时。通过利用PHP 7+提供的Null合并运算符（??），可以简洁高效地实现这一需求，避免冗长的条件判断，提高代码可读性和健壮性。 引言：处理缺失或空值时的数组赋值 在Web开发中，我们经常需要从用户请求、数据库查询或其他外部…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • VSCode快速配置Dart：Flutter开发、中文提示、热加载 用户投稿

    VSCode快速配置Dart：Flutter开发、中文提示、热加载

    安装vscode并下载flutter sdk，解压至无中文或特殊字符的路径；2. 将flutter sdk的bin目录添加到系统环境变量path中；3. 打开新终端执行flutter doctor，根据提示安装缺失的依赖；4. 在vscode扩展商店安装dart和flutter扩展；5. 确保在调试…

    程序猿的头像 程序猿
    2026年9月22日
    200
  • Inkscape如何导出AI生成的矢量图片？教你快速保存图像的步骤 用户投稿

    Inkscape如何导出AI生成的矢量图片？教你快速保存图像的步骤

    答案：在Inkscape中导出矢量图需根据用途选择格式，网页用优化SVG并转文本为路径，印刷则导出为PDF/EPS、转文字为路径、确保高分辨率位图，同时注意颜色模式与出血设置。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 在Inkscap…

    程序猿的头像 程序猿
    2026年9月22日
    700
  • Laravel 8 登录后重定向至仪表盘的策略与实践 用户投稿

    Laravel 8 登录后重定向至仪表盘的策略与实践

    本教程详细阐述了在 Laravel 8 中实现用户登录后重定向到仪表盘的多种策略。我们将探讨如何通过配置 LoginController 的 $redirectTo 属性、利用 RouteServiceProvider 定义常量以及在自定义登录方法中进行精确控制来管理重定向流程。文章还涵盖了相关中间…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • VSCode配置GDB调试器 深入掌握VSCode调试C程序技巧 用户投稿

    VSCode配置GDB调试器 深入掌握VSCode调试C程序技巧

    配置vscode中gdb调试c程序的核心是正确设置tasks.json和launch.json；2. tasks.json负责使用gcc -g编译生成带调试信息的可执行文件，确保prelaunchtask与launch.json中的program路径一致；3. launch.json指定调试器gdb…

    程序猿的头像 程序猿
    2026年9月22日
    100
  • java定时任务之quartz 用户投稿

    java定时任务之quartz

    大家好，很高兴再次与大家见面，我是你们的朋友全栈君。 一、Quartz简介 在企业应用中，我们常常需要处理定时任务调度，比如每天凌晨生成前一天的报表，每小时生成一次汇总数据等。Quartz是一个著名的任务调度框架，它可以与J2SE和J2EE应用结合，功能非常强大，易于与Spring集成，使用起来非常…

    程序猿的头像 程序猿
    2026年9月22日
    100
  • Java中异常处理与方法返回值结合 用户投稿

    Java中异常处理与方法返回值结合

    异常发生时不应返回默认值，而应通过抛出异常或使用Optional、自定义结果类等方式明确传递错误信息，确保调用方能正确处理失败情况，提升代码健壮性与可读性。 在Java中，异常处理与方法返回值的结合是一个常见的编程问题。理解它们之间的关系有助于写出更健壮、可读性更强的代码。当一个方法可能发生异常时，…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • tk做养生类目起号前期发什么视频？tk表示什么类目？ 用户投稿

    tk做养生类目起号前期发什么视频？tk表示什么类目？

    在TikTok上运营养生类账号，起号阶段的内容策略尤为关键。优质的内容不仅能快速吸引目标用户，还能为后续发展奠定良好基础。本文将深入解析初期应发布的视频类型，并澄清“TK”所指的平台属性及内容分类体系。 一、养生类目起号初期适合发布哪些视频内容？ 刚开始做养生赛道时，重点不在于变现，而在于建立专业形…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • Grok官方网站直达页_Grok官网官方网页版入口 用户投稿

    Grok官方网站直达页_Grok官网官方网页版入口

    Grok官网官方网页版入口为https://grok.com，用户可通过该网站访问网页端服务，支持跨设备同步；同时可下载移动应用或在X平台内使用Grok功能。未订阅用户可体验基础功能，Premium及Premium+需通过X平台订阅，SuperGrok则仅在官网提供，具备更强数据处理能力。账户升级后…

    程序猿的头像 程序猿
    2026年9月22日
    600
  • PHP如何利用缓存优化实时输出_PHP实时输出与缓存结合优化 用户投稿

    PHP如何利用缓存优化实时输出_PHP实时输出与缓存结合优化

    PHP实时输出需结合输出缓冲控制与flush()强制推送，同时考虑服务器和浏览器缓存影响；2. 长时间任务应使用APCu或Redis缓存频繁数据，避免重复计算；3. 动态页面可采用分块输出与片段缓存策略，静态内容从缓存读取，动态部分边生成边输出；4. 更优方案是通过异步任务与Redis存储进度，前端…

    程序猿的头像 程序猿
    2026年9月22日
    000

  • 华为天际通Go将支持eSIM：设备在路上了

    华为天际通Go将支持eSIM：设备在路上了华为天际通Go将支持eSIM：设备在路上了华为天际通Go将支持eSIM：设备在路上了华为天际通Go将支持eSIM：设备在路上了

    9月3日消息，今年的iphone 17 air将仅支持esim，彻底移除实体sim卡槽结构。随着新品发布日期的临近，国内esim政策的进展也愈发引人关注。 然而综合多方信息来看，iPhone 17 Air国行版本可能无法赶上首发，因前期在国内无法使用eSIM服务，导致该机型短期内难以在国内上市。 相…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    000
  • VSCode配置C语言调试环境 从零开始VSCode搭建C开发工具 用户投稿

    VSCode配置C语言调试环境 从零开始VSCode搭建C开发工具

    要从零开始在#%#$#%@%@%$#%$#%#%#$%@_e2fc++805085e25c9761616c00e065bfe8中搭建c语言开发和调试环境，首先需安装vscode本体、c/c++编译器（如mingw或gcc）并配置系统环境变量，接着安装vscode的c/c++扩展，然后创建项目并编写c…

    程序猿的头像 程序猿
    2026年9月22日
    000

  • 如何用PhotoLab的AI裁剪图片？快速实现智能图像裁剪教程

    如何用PhotoLab的AI裁剪图片？快速实现智能图像裁剪教程如何用PhotoLab的AI裁剪图片？快速实现智能图像裁剪教程如何用PhotoLab的AI裁剪图片？快速实现智能图像裁剪教程如何用PhotoLab的AI裁剪图片？快速实现智能图像裁剪教程

    PhotoLab的AI裁剪功能通过智能识别主体与构图原则，提供优化裁剪建议，区别于传统手动裁剪的纯物理操作，能自动应用美学法则提升照片视觉吸引力；在人像、社交媒体适配、风景静物等场景中表现突出，尤其擅长保留核心焦点并适配多平台比例；用户可导入图片后使用AI裁剪工具，系统分析画面并生成建议裁剪框，支持…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    000
  • 递归实现列表排序检查与条件移除最大值 用户投稿

    递归实现列表排序检查与条件移除最大值

    本文详细介绍了如何使用Java递归方法处理整数列表。核心内容包括：首先检查列表是否已排序，如果已排序则直接返回false；如果未排序，则查找列表中的最大值。仅当最大值位于列表的起始或结束位置时，才将其移除并递归地继续处理列表。如果最大值位于列表中间，则打印当前列表并终止递归。 在数据处理和算法设计中…

    程序猿的头像 程序猿
    2026年9月22日
    000

发表回复

登录后才能评论
关注微信