阶跃公开了自家新型注意力机制:KV缓存消耗直降93.7%,性能不减反增

aixiv专栏长期致力于分享学术和技术前沿内容,已发表2000余篇来自全球顶尖高校和企业实验室的文章,为学术交流和传播做出了重要贡献。欢迎各位专家学者投稿或联系报道,投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

大语言模型的广泛应用带来了大规模推理的巨大挑战。传统注意力机制中的键值缓存(KV Cache)随着批处理大小和序列长度线性增长,成为限制大模型规模化应用和推理效率的瓶颈。

虽然MQA、GQA、MLA等改进方案已出现,但它们或难以在严格的显存限制下保持性能,或引入额外的复杂度,造成工程难题和兼容性问题。

阶跃星辰、清华大学等机构近期发表的论文《Multi-matrix Factorization Attention》提出了一种新型注意力机制——多矩阵分解注意力(MFA)及其变体MFA-Key-Reuse(MFA-KR)。该方法在显著降低推理成本的同时,提升了模型性能。

图片

论文链接:https://www.php.cn/link/aac8f7d518e4300ab8031d6709164f1d

实验表明,MFA和MFA-KR不仅性能超越MLA,而且在KV Cache使用量减少高达93.7%的情况下,性能与传统MHA相当。MFA易于实现和复现,对超参数不敏感,并兼容各种位置编码。

图片

图片

MFA方法及分析

研究团队通过对注意力机制的容量分析,确定了影响其容量的关键维度,并提出了一系列分析方法和设计原则。

图片

研究团队提出了广义多头注意力(GMHA)框架,统一理解不同MHA变体。他们从推理角度研究键值的计算和存储,从分解角度探讨模型容量特征,为理解不同策略的权衡提供了新视角。

研究团队将完全参数化双线性注意力(FPBA)作为理论性能上限,发现现有MHA及其变体都是FPBA的低秩分解版本。他们分析了MQA和MLA两种代表性改进方案:MQA采用激进的参数共享策略,降低内存使用但可能影响表达能力;MLA引入共享潜在空间,但表达能力受限于最小维度。

阶跃AI 阶跃AI

阶跃星辰旗下AI智能问答搜索助手

阶跃AI 291 查看详情 阶跃AI

基于以上分析,研究团队提出了MFA,旨在最大限度地节省资源并接近理论性能上限。MFA的三个关键创新:突破传统设计限制,增加注意力头的数量和维度;采用创新的低秩分解策略,提高参数效率;采用单键值头设计,降低内存使用。

图片

为了对比MFA和其他注意力机制,研究团队引入了两个关键指标:模型总有效秩TER和共享隐空间维度SLSD。TER越高,模型容量越高;SLSD代表所有注意力头共同使用的隐空间维度。KV Cache占用受制于FRH和SLSD中的较大值。

分析表明,MFA在参数预算下比MQA拥有更高的SLSD和TER;比MLA拥有更小的KV Cache尺寸和更高的TER,同时保持相当的SLSD;比MHA拥有更高的TER,解释了其性能优势。

实验结果

研究团队进行了大规模扩展性实验(1B到7B参数,10B到1T训练数据),MFA展现出与传统MHA相当的扩展能力。MFA和MFA-KR在内存节省方面优势显著,最大规模模型上分别实现87.5%和6.25%的内存节省。

图片

消融实验验证了MFA和MFA-KR设计的有效性,并在其他主流位置编码上也验证了其性能优势。

图片

图片

展望

MFA以简洁的设计解决了LLM高效推理的显存瓶颈问题,并能无缝集成到现有Transformer生态中。这项创新将加速大语言模型的应用。

以上就是阶跃公开了自家新型注意力机制:KV缓存消耗直降93.7%,性能不减反增的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/363315.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
iPhone15屏幕一直亮着是什么原因
上一篇 2026年11月15日 22:48:28
python异常是什么?如何解决?
下一篇 2025年11月10日 08:06:12

相关推荐

  • 解决Java中跨类访问ArrayList对象属性的通用类型问题

    本教程探讨了在Java中将包含自定义对象的ArrayList从一个类传递到另一个类时,无法直接访问对象属性的问题。核心原因在于未正确使用Java泛型。文章将详细解释泛型的工作原理,展示如何通过明确指定ArrayList的类型参数来解决此问题,确保类型安全并实现顺畅的对象属性访问。 引言:跨类对象属性…

    2026年11月15日
    000
  • 华为智慧屏 S6 Pro:“巨幕手机”搜 Easy!

    相信大家平常追剧,或多或少也遇到过这种情况:突然闪过的剧情、突然断线的思路、说不出来的片名?支离破碎、难以捉摸?莫急莫急,看这全新升级鸿蒙 ai 的 ” 巨幕手机 ” 华为智慧屏 s6 pro,如何让看剧 ” 搜 easy” 的吧! 以上就是华为智慧屏…

    用户投稿 2026年11月15日
    100
  • ap (用于键值对)

    java 中的 hashmap、linkedhashmap 和 treemap 实现详解:选择合适的 map 类型 本文将深入探讨 Java 中三种常用的 Map 实现:HashMap、LinkedHashMap 和 TreeMap,并阐明它们在结构、插入顺序和性能方面的差异,帮助您根据实际需求选择…

    2026年11月15日
    100
  • 如何优化CentOS上PyTorch的运行速度

    提升centos系统pytorch运行效率的策略 本文将介绍多种优化CentOS系统上PyTorch运行速度的方法,涵盖数据加载、数据操作、模型结构、分布式训练以及其他技巧,最终目标是提升模型训练和推理效率,并确保模型精度不受影响。 所有优化建议都应先在测试集上验证其有效性。 一、 数据加载优化 使…

    2026年11月15日
    100
  • 坦克500 Hi4-Z上市15天交付超2300台 售价36.38万元

    坦克500 Hi4-Z上市15天交付超2300台 售价36.38万元坦克500 Hi4-Z上市15天交付超2300台 售价36.38万元坦克500 Hi4-Z上市15天交付超2300台 售价36.38万元坦克500 Hi4-Z上市15天交付超2300台 售价36.38万元

      1月17日,智车派从长城官方了解到,坦克500 hi4-z在上市仅15天内便成功交付了2310台车辆。新车于1月1日正式上市,共推出两款车型,定价均为36.38万元。作为一款中大型插电式混合动力suv,坦克500 hi4-z的核心亮点在于搭载了长城最新的泛越野超级电混架构hi4-z,该架构集成了…

    2026年11月15日 • 用户投稿
    300
  • 让大模型“看懂”专业文档 OpenDataLab将与钉钉打造企业级解析工具DLU

    让大模型“看懂”专业文档  OpenDataLab将与钉钉打造企业级解析工具DLU让大模型“看懂”专业文档  OpenDataLab将与钉钉打造企业级解析工具DLU让大模型“看懂”专业文档  OpenDataLab将与钉钉打造企业级解析工具DLU让大模型“看懂”专业文档  OpenDataLab将与钉钉打造企业级解析工具DLU

    高质量数据是ai大模型训练与应用的基石,也是企业迈向ai转型的核心“燃料”。然而,在实际开发ai应用的过程中,许多企业却因大模型难以理解非结构化数据而陷入瓶颈。 是否有可能让更广泛的企业用户拥有一款高效、易用的数据工具,真正实现AI-Ready数据的自由获取与使用? 近日,OpenDataLab与钉…

    2026年11月15日 • 用户投稿
    000
  • 掌握Java Meta编程:高级Java开发指南

    掌握Java Meta编程:高级Java开发指南掌握Java Meta编程:高级Java开发指南掌握Java Meta编程:高级Java开发指南掌握Java Meta编程:高级Java开发指南

    Java元编程是一项强大的技术,赋予开发者在运行时操控、生成和执行代码的能力。这使得代码更灵活、可复用且高效。本文将深入探讨Java元编程,助您提升Java开发技能。 Java元编程的优势: 代码复用性提升: 元编程允许编写可在多种场景下复用的代码,减少代码冗余,提高可维护性。 灵活性增强: 开发者…

    2026年11月15日 • 用户投稿
    000
  • 用Java记录类简化数据持有人类类

    用Java记录类简化数据持有人类类用Java记录类简化数据持有人类类用Java记录类简化数据持有人类类用Java记录类简化数据持有人类类

    Java记录类:精简数据持有类的利器 Java 14引入,并在Java 16中标准化的记录类,显著简化了创建主要用于数据存储的类的过程。 为什么需要记录类? 传统Java中创建简单的POJO(Plain Old Java Object)需要编写大量的样板代码(例如构造器、getter方法等)。记录类…

    2026年11月15日 • 用户投稿
    000
  • 如何把excel_Excel表格打印、转换或共享操作方法

    如何把excel_Excel表格打印、转换或共享操作方法如何把excel_Excel表格打印、转换或共享操作方法如何把excel_Excel表格打印、转换或共享操作方法如何把excel_Excel表格打印、转换或共享操作方法

    一、打印Excel表格:打开文件后点击“文件”→“打印”,设置纸张方向、缩放比例和页边距,确保内容完整显示,确认打印机连接后点击“打印”;二、转换为PDF格式:点击“文件”→“另存为”,选择保存位置并设置文件类型为“PDF”,在选项中选择导出范围(如所有工作表),点击“保存”完成转换;三、通过电子邮…

    2026年11月15日 • 用户投稿
    000
  • 营收同比下降,云从科技2024年预亏5.9亿元-6.8亿元

    营收同比下降,云从科技2024年预亏5.9亿元-6.8亿元营收同比下降,云从科技2024年预亏5.9亿元-6.8亿元营收同比下降,云从科技2024年预亏5.9亿元-6.8亿元营收同比下降,云从科技2024年预亏5.9亿元-6.8亿元

    云从科技2024年业绩预亏公告解读:短期阵痛,长期战略转型 云从科技近日发布公告,预计2024年净利润亏损68亿-59亿元,扣非净利润亏损71亿-62亿元。 这与2023年亏损情况相比,亏损规模并未显著扩大。公告中,公司详细解释了业绩变化的原因: ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索,…

    2026年11月15日 • 用户投稿
    000
  • Java Caching策略

    Java Caching策略Java Caching策略Java Caching策略Java Caching策略

    Java缓存策略:优化应用性能 缓存是提升Java应用性能和可扩展性的关键技术。通过缓存频繁访问的数据,开发者可以减轻数据库负担,显著缩短响应时间。本文深入探讨Java缓存策略,涵盖不同类型、优缺点及示例。 缓存的优势 缓存能够大幅提升应用性能,主要体现在以下几个方面: 响应速度更快: 减少数据检索…

    2026年11月15日 • 用户投稿
    100
  • Nature重磅:微软生成式AI材料设计工具,稳定性提升2倍,实验验证误差低于20%!

    Nature重磅:微软生成式AI材料设计工具,稳定性提升2倍,实验验证误差低于20%!Nature重磅:微软生成式AI材料设计工具,稳定性提升2倍,实验验证误差低于20%!Nature重磅:微软生成式AI材料设计工具,稳定性提升2倍,实验验证误差低于20%!Nature重磅:微软生成式AI材料设计工具,稳定性提升2倍,实验验证误差低于20%!

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ AI赋能材料设计:微软MatterGen革新材料发现 材料创新是科技进步的基石。从上世纪八十年代锂钴氧化物的发现到如今的锂离子电池技术,材料科学的每一次飞跃都深刻地改变着我们的生活。然而,传统的…

    2026年11月15日 • 用户投稿
    000
  • 确保具有势力的可靠支付系统

    确保具有势力的可靠支付系统确保具有势力的可靠支付系统确保具有势力的可靠支付系统确保具有势力的可靠支付系统

    在线支付系统追求流畅无缝的体验,但网络问题或重复操作可能导致客户被重复收费。这就是幂等性发挥作用的地方。幂等性确保重复操作(例如支付请求)不会产生意外后果,例如多次收费。 让我们深入了解幂等性的工作原理以及它为何对创建稳定可靠的支付体验至关重要。 什么是幂等性? 简单来说,幂等性意味着相同操作重复执…

    2026年11月15日 • 用户投稿
    000
  • 掌握Java并发模型

    掌握Java并发模型掌握Java并发模型掌握Java并发模型掌握Java并发模型

    Java并发编程模型:高效应用开发的关键 高效、可扩展的应用开发离不开高效的并发编程模型。Java提供丰富的并发工具,简化并发编程的复杂性。本文将深入探讨Java并发模型的核心概念,包括基于线程的并发、Executor框架、锁与同步以及并发集合。 Java并发简介 Java并发允许程序同时执行多个线…

    2026年11月15日 • 用户投稿
    000
  • 比亚迪汉L/唐L正式发布:全新龙颜美学 定位30万级别

    比亚迪汉L/唐L正式发布:全新龙颜美学 定位30万级别比亚迪汉L/唐L正式发布:全新龙颜美学 定位30万级别比亚迪汉L/唐L正式发布:全新龙颜美学 定位30万级别比亚迪汉L/唐L正式发布:全新龙颜美学 定位30万级别

      1月17日,比亚迪正式推出了两款新车型——汉l和唐l。这两款车型基于最新的e平台3.0打造,融入了家族设计的新元素,定位30万级别。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜   汉L由比亚迪全球设计总监艾格带领团队精心设计,前脸的…

    2026年11月15日 • 用户投稿
    500
  • OpenAI 估值飙升至 5000 亿美元,成功出售 103 亿美元的二级股票

    OpenAI 估值飙升至 5000 亿美元,成功出售 103 亿美元的二级股票OpenAI 估值飙升至 5000 亿美元,成功出售 103 亿美元的二级股票OpenAI 估值飙升至 5000 亿美元,成功出售 103 亿美元的二级股票OpenAI 估值飙升至 5000 亿美元,成功出售 103 亿美元的二级股票

    据 cnbc 消息,openai 在今日凌晨的二级市场交易中估值攀升至5000亿美元,并顺利完成103亿美元的股票出售。此次交易吸引了众多顶级投资机构入场,充分体现了资本市场对 openai 未来前景的高度认可。 知情人士透露,OpenAI 最初计划为符合条件的现任及前任员工提供约60亿美元的股票出…

    2026年11月15日 • 用户投稿
    1000
  • BN,LN,IN,GN都是什么?不同归一化方法的比较

    BN,LN,IN,GN都是什么?不同归一化方法的比较BN,LN,IN,GN都是什么?不同归一化方法的比较BN,LN,IN,GN都是什么?不同归一化方法的比较BN,LN,IN,GN都是什么?不同归一化方法的比较

    批归一化(bn)已成为许多先进深度学习模型的重要组成部分,尤其是在计算机视觉领域。它通过批处理中计算的均值和方差来标准化层输入,因此得名。为了使bn有效,批大小必须足够大,通常至少为32。然而,在某些情况下,我们不得不使用小批量: 当每个数据样本高度消耗内存时,例如视频或高分辨率图像当我们训练一个很…

    2026年11月15日 • 用户投稿
    100
  • 《房间的秘密2:起点》第四章通关攻略(下)

    《房间的秘密2:起点》第四章通关攻略(下)《房间的秘密2:起点》第四章通关攻略(下)《房间的秘密2:起点》第四章通关攻略(下)《房间的秘密2:起点》第四章通关攻略(下)

    《房间的秘密2:起点》第四章通关攻略(下): 1.打开柜子,注意看海报上的图案及对应的数字(三角形5、波浪线4、菱形7、正方形9、圆2)(后面用到:副院长最喜欢的女团是几何少女,最喜欢的成员是小圆) 造点AI 夸克 · 造点AI 325 查看详情 2.点击桌子右边的下方抽屉,根据左边的图形提示,输入…

    2026年11月15日 • 用户投稿
    000
  • 掌握Java内存管理

    掌握Java内存管理掌握Java内存管理掌握Java内存管理掌握Java内存管理

    Java内存管理最佳实践 高效、可扩展的Java应用程序离不开有效的内存管理。本文将深入探讨Java内存分配、对象处理以及资源管理,并阐述如何避免内存泄漏、降低垃圾回收开销,最终提升系统性能。 Java内存模型概述 Java内存模型采用分代策略,将对象划分为三代: 立即学习“Java免费学习笔记(深…

    2026年11月15日 • 用户投稿
    700
  • 王者荣耀体验服体验币如何兑换(内附获取攻略)

    王者荣耀体验服体验币如何兑换(内附获取攻略)王者荣耀体验服体验币如何兑换(内附获取攻略)王者荣耀体验服体验币如何兑换(内附获取攻略)王者荣耀体验服体验币如何兑换(内附获取攻略)

    嘿,各位玩家朋友!今天我们要探讨的是《王者荣耀》体验服中一个既神秘又充满趣味的道具——体验币。这种特殊的虚拟货币可不仅仅是用来展示你的游戏财富,它还有更多有趣的用途哦!每当体验服进行更新时,你是不是在领取邮件时发现了体验币呢?有些玩家可能会疑惑这些体验币到底能干什么?小编知道,对于一些资深体验服玩家…

    2026年11月15日 • 用户投稿
    100

发表回复

登录后才能评论
关注微信