投稿获客
  1. 创想鸟首页
  2. 科技

还是原装Transformer好！北大清华团队同时揭示Mamba等推理短板

程序猿 • • 科技 • 阅读 0
还是原装Transformer好！北大清华团队同时揭示Mamba等推理短板
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

北京大学的工作来自智能学院王立威、贺笛老师课题组，发表于icml 2024。作者包括北京大学图灵班本科生杨铠；苏黎世联邦理工学院硕士生jan ackermann；北京大学智能学院博士生何震宇、冯古豪、张博航；纽约大学博士生冯韫禛；北京智源研究院研究员叶启威；清华大学的工作来自于明年即将入职清华大学交叉信息院做助理教授、目前在加州大学伯克利分校 simons institute 做博士后的吕凯风研究员。作者包括斯坦福在读一年级博士温凯越；清华大学姚班本科生党星宇。 

思维链（CoT）是大模型中最神秘的现象之一，尤其在数学任务上显著提升了 Transformer 的能力。然而，思维链的引入也使生成内容的长度增加，消耗了更多的计算资源。这不禁让人好奇：最新推出的高效模型（如 Mamba）是否也能像 Transformer 一样具备强大的推理能力？近期，北大和清华的研究团队同时给出了明确的否定答案，揭示了 Mamba 等高效模型在结构上的局限性。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

还是原装Transformer好！北大清华团队同时揭示Mamba等推理短板

论文 1：Do Efficient Transformers Really Save Computation? （发表于 ICML 2024）
论文链接：https://arxiv.org/abs/2402.13934

还是原装Transformer好！北大清华团队同时揭示Mamba等推理短板

论文 2：RNNs are not Transformers (Yet): The Key Bottleneck on In-context Retrieval
论文链接：https://arxiv.org/abs/2402.18510
基于 Transformer 的大语言模型在文本翻译、文本生成等许多领域展现了惊人的能力。主流的大语言模型通常采用自回归范式进行生成：由问题描述、相关提示组成的输入序列（prompt）会被首先编码。基于编码后的信息，大模型逐步生成后续的单词序列，以形成问题的答案。对于复杂的问题，已有的实践和理论研究表明，利用思维链提示（CoT）可以显著提升模型在数学或推理方面的问题解决能力。

还是原装Transformer好！北大清华团队同时揭示Mamba等推理短板

如上图，当给出的问题示例中只有最终结果，而没有中间的推理过程时，大模型在见到新问题时往往会生成错误的答案；但如果给出的问题示例中包含了完整的思维链（中间推导步骤），大模型在新问题上也往往会输出完整的思维链并得到正确答案。然而，思维链提示依赖于大量中间步骤的输出，使用 Transformer 架构会产生大量的计算开销。因此，一个自然的问题便是：能否使用更少的计算量，实现思维链推理？许多架构致力于降低注意力机制带来的计算复杂度，能否在这些架构上使用 CoT 提升性能并实现推理的加速？
近期，来自北大和清华的研究团队从理论角度对上述问题进行了深入探讨。结果令人惊讶：两个团队一致证实包括 Sparse Transformer、Linear Transformer、Mamba 在内的许多架构，即使在这些模型上应用思维链，其理论上的能力上限仍无法解决多种实际推理问题，并与标准 Transformer 有本质差距。这些理论结果为高效结构的实用价值蒙上了一层阴影。
Transformer + CoT 依然是最佳选项
北大的研究团队将推理任务通用地建模为动态规划。在推理过程中，模型需要按照合法的拓扑排序逐步输出子问题的结果（即思维链），以最终得出原问题的解。他们从理论角度证明，若希望 Sparse Transformers、Linear Transformers 等模型通过思维链来解决动态规划问题，模型的宽度必须增加，进而导致时间复杂度恰好达到平方级别。这一时间复杂度与标准 Transformers 在相同长度的推理任务中所需的复杂度一致，表明这些所谓的高效结构在一般推理问题上并不具备计算优势。
殊途同归，清华的研究团队考虑了 RNN 模型和 Transformer 模型在检索、关联回忆、计数，以及判断一张图是否为树等基本问题上的表达能力差异。他们从理论角度证明了，对于问题规模 n，任意 o (n) 大小的 RNN 模型均无法完成上述任务，即便使用任意长的 CoT。但一个固定大小的 Transformer 可以不使用 CoT 解决检索、关联回忆、计数等问题，并使用 O (n) 长度的 CoT 正确判断一张图是否为树。这些结果表明类 RNN 的结构使用思维链获得的能力，距离 Transformer 仍有巨大差距。
两个研究得出相似结论的背后，揭示了相似的本质。这些模型架构之所以具有内存高效性，是因为它们能够在较少的空间下完全确定输出序列。然而，输出序列的可能性指数级增长，这使得这些架构无法以较小的模型尺寸正确生成所有可能的输出。换句话说，模型的规模必须随着问题规模的增加而扩展。这一核心观察表明，包括 Mamba 在内的具有循环（recurrent）性质的网络架构，都受到了相同的限制。
如何提升其它模型使用思维链的能力？
在得到负面结论的同时，两个团队考虑不同角度设计解决方案。
北大研究团队从推理任务的局部性入手，即当前输出所需要向前依赖的最远输出的距离。局部性反映了推理所需要的长程记忆难度。他们从理论角度证明了，当推理任务有较好的局部性时，许多高效模型能够以理论更优的推理速度完美解决问题。
来自清华的研究团队则从引入上下文检索器的角度入手。他们从理论角度证明了，使用显式上下文检索器或使用一层 Transformer 作为隐式上下文检索器，均可以大大增强 RNN 使用思维链后获得的能力。
研究团队还设计了大量的实验验证理论结果。来自北大的研究团队在多种 Transformer 架构上使用 CoT 数据进行训练，表明标准 Transformer 架构事实上使用了最小的计算量。

还是原装Transformer好！北大清华团队同时揭示Mamba等推理短板

可图大模型 可图大模型

可图大模型（Kolors）是快手大模型团队自研打造的文生图AI大模型

可图大模型 32 查看详情 可图大模型

同时，他们的实验结果也表明了良好的推理局部性（下图右列）能够增强多种 Efficient Transformers 的思维链推理能力，表现在使用相同尺寸的模型时能够解决规模更大的推理任务。

还是原装Transformer好！北大清华团队同时揭示Mamba等推理短板

来自清华的研究团队则在 Mamba 和 Transformer 上使用判定图是否为树的任务进行训练，表明 Transformer 结构在此问题上相比于 Mamba 所具有的显著优势，以及在 RNN 上使用上下文检索对性能的影响。

还是原装Transformer好！北大清华团队同时揭示Mamba等推理短板

以上就是还是原装Transformer好！北大清华团队同时揭示Mamba等推理短板的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/414003.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

267.6K 文章
0 评论
1 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月7日 00:21:34
下一篇 2025年11月7日 00:26:42

相关推荐

  • 玩虚拟币需要下载什么交易平台? 新手虚拟货币交易平台app推荐

    新手虚拟货币交易平台app推荐：1. Binance，2. OKX，3. Huobi，4. Coinbase，5. Kraken，6. KuCoin，7. Bybit，8. Bitfinex，9. Gemini，10. Bitstamp。每个平台的下载和注册步骤包括打开应用商店搜索并下载官方应用，注…

    程序猿的头像 程序猿
    2025年12月8日 • 好文分享
    000

  • OSMO币怎么买？OSMO币价格最新行情

    osmosis基金会今天宣布结束其首次筹款活动，是由paradigm领导的基金会金库的代币销售。这笔资金将帮助渗透基金会发展渗透协议，osmosis允许用户通过利用osmosis的名为superfluid staking的新颖创新来复合产量，消除矿工可提取价值。 OSMO币价格最新行情 ＄0.23 …

    程序猿的头像 程序猿
    2025年12月8日 • 好文分享
    000

  • 全球虚拟币交易有哪些软件？ 2025年全球虚拟货币交易平台排名前十

    2025年全球虚拟货币交易平台排名前十分别是：1. Binance，2. OKX，3. Huobi，4. Coinbase，5. Kraken，6. Bitfinex，7. Bittrex，8. Gemini，9. KuCoin，10. Poloniex，这些平台因其安全性、用户体验和交易多样性而备…

    程序猿的头像 程序猿
    2025年12月8日 • 好文分享
    000

  • 数字货币需要下载什么APP? 新手十大炒币平台app推荐

    新手炒币推荐下载以下十大平台的APP：1. Binance，2. OKX，3. Huobi，4. Coinbase，5. Kraken，6. KuCoin，7. Bybit，8. Bitfinex，9. Gemini，10. Bitstamp。每个平台的下载和注册步骤包括打开应用商店搜索并下载官方应…

    程序猿的头像 程序猿
    2025年12月8日 • 好文分享
    000

  • 正规交易平台app必安手机版安装入口

    作为全球领先的数字资产交易平台，其手机版应用程序为用户提供了便捷的交易体验。无论你是新手还是专业交易者，必安都能够满足你对数字资产交易的需求。通过必安手机版，你可以随时随地进行交易，查看实时市场数据，管理你的资产组合，并享受安全、稳定的交易环境。为了让更多用户能够顺利安装和使用必安手机版，本文将详细…

    程序猿的头像 程序猿
    2025年12月8日 • 好文分享
    000
  • 芝麻开门网页版入口 芝麻开门网页版正确地址 好文分享

    芝麻开门网页版入口 芝麻开门网页版正确地址

    芝麻开门网页版入口地址为www.gate.com。1.打开浏览器，输入该网址。2.在首页找到“网页版”或“登录”按钮。3.确保网站使用HTTPS协议，确认URL正确。4.输入用户名和密码，启用2FA后输入验证码登录。5.选择交易对，输入数量，选择订单类型，确认后交易。6.在“资产管理”页面查看和管理…

    程序猿的头像 程序猿
    2025年12月8日
    000
  • bitget交易所官网入口 bitget交易所怎么下载 好文分享

    bitget交易所官网入口 bitget交易所怎么下载

    Bitget交易所官网入口为www.bitget.com，用户可通过浏览器访问。下载Bitget应用步骤如下：1. iOS用户在App Store搜索并下载；2. Android用户在Google Play Store搜索并下载。下载后登录或注册即可开始交易。 Bitget交易所作为全球领先的加密货…

    程序猿的头像 程序猿
    2025年12月8日
    000
  • oe交易所官网入口 oe交易所正确地址 好文分享

    oe交易所官网入口 oe交易所正确地址

    OE交易所的官网入口可以通过以下方式找到：1）访问官方社交媒体账户，2）使用搜索引擎，3）通过官方APP访问；确保访问正确地址的方法包括：1）检查域名，2）使用书签，3）查看网站安全证书。 在加密货币交易领域，选择一个可靠的交易所是至关重要的。OE交易所作为一个新兴的交易平台，吸引了大量的投资者和交…

    程序猿的头像 程序猿
    2025年12月8日
    000
  • 安币交易所怎么安全下载 安币交易所安全入口 好文分享

    安币交易所怎么安全下载 安币交易所安全入口

    安币交易所安全下载和访问的步骤包括：1.访问官方网站下载客户端；2.验证文件完整性；3.书签官方网站并使用HTTPS访问；4.启用双重认证并使用强密码进行安全交易。 安币交易所安全下载指南 安币交易所是许多加密货币投资者选择的平台之一。为了确保在使用该交易所时能够安全地进行下载和访问，我们将详细介绍…

    程序猿的头像 程序猿
    2025年12月8日
    000
  • 欧意官网打不开 欧意交易所app下载 好文分享

    欧意官网打不开 欧意交易所app下载

    欧意官网打不开可以通过检查网络连接、更换DNS服务器；欧意交易所app可在iOS、Android和桌面端下载。访问欧意官网时，若遇到网络连接问题，请确保连接正常并尝试刷新页面。 如果你在访问欧意（OKX）官网时遇到问题，或者想要下载欧意交易所的应用程序，本文将详细介绍如何解决这些问题并提供下载指南。…

    程序猿的头像 程序猿
    2025年12月8日
    000
  • ok交易所网页版入口 ok交易所网页版正确地址 好文分享

    ok交易所网页版入口 ok交易所网页版正确地址

    OK交易所网页版入口是www.okx.com。访问方法包括：1. 打开浏览器；2. 输入www.okx.com并按回车；3. 等待页面加载，用户可登录或注册。 OK交易所网页版入口概述 OK交易所是全球知名的加密货币交易平台之一，提供多种数字资产交易服务。访问OK交易所的网页版入口是用户进行交易、管…

    程序猿的头像 程序猿
    2025年12月8日
    000
  • 火币网页版入口 火币网页版正确地址入口 好文分享

    火币网页版入口 火币网页版正确地址入口

    火币网页版入口是www.htx.com。用户可通过浏览器访问该网址，无需下载软件，支持多设备访问，界面简洁，功能丰富，提供多重安全措施，客服支持24/7在线。 火币网页版入口是许多用户在进入火币交易平台时最关心的问题之一。火币，作为全球知名的加密货币交易所，提供了多种入口方式来满足不同用户的需求。火…

    程序猿的头像 程序猿
    2025年12月8日
    000
  • 欧意交易所app官方下载 欧意交易所官网入口 好文分享

    欧意交易所app官方下载 欧意交易所官网入口

    欧意交易所app可以通过App Store或Google Play下载，官网入口可通过直接访问或搜索引擎进入。1. iOS用户在App Store搜索”Okex”下载；2. Android用户在Google Play搜索”Okex”下载；3. 访问官网…

    程序猿的头像 程序猿
    2025年12月8日
    000
  • 欧亿交易所app官方下载 欧亿交易所官网入口 好文分享

    欧亿交易所app官方下载 欧亿交易所官网入口

    欧亿交易所app官方下载指南：Android用户通过Google Play商店，iOS用户通过Apple App Store下载。访问官网进行注册和登录，应用和官网均提供丰富的交易和管理功能。 欧亿交易所app官方下载指南 欧亿交易所作为一个专注于加密货币交易的平台，其官方应用程序的下载对于用户来说…

    程序猿的头像 程序猿
    2025年12月8日
    000

  • 2025十大数字货币交易平台排名 好用的数字币交易平台排行榜

    2025十大数字货币交易软件最新排名：1. Binance，2. OKX，3. Huobi，4. Coinbase，5. Kraken，6. Bitfinex，7. KuCoin，8. Bittrex，9. Poloniex，10. Bitstamp，这些交易所均提供高流动性、多样化的交易产品和强大…

    程序猿的头像 程序猿
    2025年12月8日 • 好文分享
    000
  • 欧意(ouyi)官网APP最新版下载地址及注册方法 好文分享

    欧意(ouyi)官网APP最新版下载地址及注册方法

    欧意(ouyi)作为一款备受用户青睐的应用，其官方APP提供了丰富的功能和优质的服务。为了让用户能够快速、便捷地体验到欧意(ouyi)APP的强大功能，本文将为您详细介绍欧意(ouyi)官网最新APP的下载地址以及注册方法。使用本文提供的官方下载链接，您可以轻松获取到最新的欧意(ouyi)APP，确…

    程序猿的头像 程序猿
    2025年12月8日
    000
  • 怎么买BTC？如何购买比特币BTC新手完整指南 好文分享

    怎么买BTC？如何购买比特币BTC新手完整指南

    购买比特币（BTC）对于新手来说可能是一个令人生畏的过程，但通过本指南，您将了解到如何安全且有效地购买比特币。无论您是通过加密货币交易所还是点对点交易平台，本文将详细介绍每一步骤，确保您能够顺利完成购买过程。 选择合适的交易平台 在购买比特币之前，选择一个可靠的交易平台是至关重要的。市场上有许多不同…

    程序猿的头像 程序猿
    2025年12月8日
    000

  • 十大好用虚拟币交易软件排名 虚拟币APP十大交易平台排行2025

    十大好用虚拟币交易软件排名：1. Binance，2. OKX，3. Huobi，4. Coinbase，5. Kraken，6. Bitfinex，7. KuCoin，8. Bittrex，9. Poloniex，10. Bitstamp，这些交易所均提供高流动性、多样化的交易产品和强大的安全措施…

    程序猿的头像 程序猿
    2025年12月8日 • 好文分享
    000
  • 华为设备如何安装欧亿应用程序教程 好文分享

    华为设备如何安装欧亿应用程序教程

    在华为设备上安装欧亿应用程序的过程相对简单，但需要注意的是，由于欧亿是一个加密货币交易平台，用户需要确保他们了解相关的风险和法律合规性。以下是详细的安装教程。 下载欧亿应用程序 华为设备用户可以通过以下步骤从华为应用市场下载欧亿应用程序： 打开华为应用市场。在设备的主屏幕上找到并点击华为应用市场图标…

    程序猿的头像 程序猿
    2025年12月8日
    000
  • ouyi数字币全新交易平台官网注册地址2025 好文分享

    ouyi数字币全新交易平台官网注册地址2025

    作为一个新兴的数字货币交易平台，Ouyi（欧易）凭借其先进的技术、安全可靠的交易环境和丰富的交易品种，迅速在全球范围内赢得了广泛的用户基础。Ouyi致力于为用户提供最优质的服务，确保每一个用户都能在平台上安全、便捷地进行数字货币交易。为了方便新用户快速注册并开始交易，我们在此提供Ouyi数字币全新交…

    程序猿的头像 程序猿
    2025年12月8日
    000

发表回复

登录后才能评论
关注微信