投稿获客
  1. 创想鸟首页
  2. 科技

大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」

程序猿 • • 科技 • 阅读 0
去掉一个「超权重」的影响，比去掉其他 7000 个离群值权重加起来还要严重。

大模型的参数量越来越大，越来越聪明，但它们也越来越奇怪了。

两年前，有研究者发现了一些古怪之处：在大模型中，有一小部分特别重要的特征（称之为「超权重」），它们虽然数量不多，但对模型的表现非常重要。

如果去掉这些「超权重」，模型就完全摆烂了，开始胡言乱语，文本都不会生成了。但是如果去掉其他一些不那么重要的特征，模型的表现只会受到一点点影响。

降重鸟 降重鸟

要想效果好，就用降重鸟。AI改写智能降低AIGC率和重复率。

降重鸟 113 查看详情 降重鸟

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」

有趣的是，不同的大模型的「超权重」却出奇地相似，比如：
它们总是出现在大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」层中。
它们会放大输入 token 激活的离群值，这种现象研究者们称之为「超激活」（super activation）。无论输入什么提示词，「超激活」在整个模型中都以完全相同的幅度和位置持续存在。而这源于神经网络中的「跨层连接」。
它们还能减少模型对常用但不重要的词汇，比如「的」、「这」、「了」的注意力。
得到了这些发现，圣母大学和苹果的研究团队进一步对「超权重」进行了探索。
他们改进了 round-to-nearest quantization（RNQ）技术，提出了一种对算力特别友好的方法。
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
论文链接：https://arxiv.org/pdf/2411.07191
论文标题：The Super Weight in Large Language Models
这种新方法与 SmoothQuant 效果相当，在处理模型的权重时，可以用这种技术处理更大的数据块，让模型在变小的同时，还能保持很好的效果。
看来，苹果是真的把宝押在小模型身上了！
什么是「超权重」？
为了量化「超权重」对模型的影响有多大，研究团队修剪了所有的离群值权重，结果发现，去掉一个「超权重」的影响，比去掉其他 7000 个离群值权重加起来还要严重。
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
如何识别「超权重」？
虽然之前的研究者发现了「超权重」可以激活异常大的神经网络。该团队又把「超权重」和「超激活」之间的联系向前推进了一步。他们发现在降维投影之前，门控和上投影的 Hadamard 乘积产生了一个相对较大的激活，而「超权重」进一步放大了这个激活并创造了「超激活」。
而通过激活的峰值可以进一步定位「超权重」。基于此，研究团队提出了一种高效的方法：通过检测层间降维投影输入和输出分布中的峰值来定位「超权重」。
这种方法只需要输入一个提示词，非常简单方便，不再需要一组验证数据或具体示例了。
具体来说，假设存在降维投影权重矩阵大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」，其中 D 表示激活特征的维度，H 是中间隐藏层的维度。设大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」为输入矩阵，其中 L 表示序列长度。定义输出矩阵为大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」；「超激活」为大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」。如果 X_ik 和 W_jk 都是远大于其他值的异常值，那么 Y_ij 的值将主要由这两个异常值的乘积决定。
在这种情况下，j 和 k 是由 X_ik 和 Y_ij 的值决定的。因此，可以首先绘制出 mlp.down proj 层的输入和输出激活中的极端异常值。接着，如图 3 所示，确定超权重所在的层和坐标。
一旦检测到一个超权重，将其从模型中移除并重复上述过程，直到抑制住较大的最大激活值。
「超权重」的机制
「超权重」的影响 
研究团队发现超级权重有两种主要影响：
引发「超激活」；
抑制了停用词（stopword）的生成概率。
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
为了探究「超权重」是完全通过「超激活」，还是也通过其他 token 来影响模型质量，研究团队设计了一个控制变量实验：
原始模型；
移除「超权重」，将其权重设置为 0；
移除「超权重」，但恢复神经网络层中的「超激活」。
实验结果如表 1 所示。恢复「超激活」后，模型的平均准确率从 35.14 恢复到 49.94，恢复「超激活」挽回了约 42% 的质量损失。
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
这表明，「超权重」对模型整体质量的影响并不完全由「超激活」所导致。
「超权重」对输出 token 概率分布的影响 
「超权重」会影响输出 token 的概率分布。为此，该团队研究了「超权重」对 Lambaba 测试集的 500 个 prompt 的输出 token 概率分布有何影响。
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
实验表明，移除「超权重」后，停用词的生成概率显著放大。例如，对于 Llama-7B 模型，「the」的生成概率增加约 2 倍，「.」 增加约 5 倍，「,」 增加约 10 倍
为了更加深入地剖析，研究团队进行了案例研究：
输入 prompt 为：「Summer is hot. Winter is 」
下一个 token 应为「cold」，这是一个具有强语义的词。
含有「超权重」的原始模型能够以 81.4% 的高概率正确预测。然而，移除「超权重」后，模型预测的最多的词变成了停用词「the」，并且「the」的概率仅为 9.0%，大多数情况是在胡言乱语。
这表明，「超权重」对于模型正确且有信心地预测具有语义的词汇至关重要。
「超权重」的重要性
研究团队还分析了超级权重幅值变化对模型质量的影响，通过将超级权重按 0.0 到 3.0 的缩放因子放大。结果表明，适度放大幅值可以提升模型准确率，详见下图。
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
超离群值感知量化
量化是一种压缩模型和减少内存需求的强大技术。然而，无论是权重量化还是激活量化，异常值的存在都会大大降低量化质量。如前所述，研究者将这些有问题的异常值（包括超权值和超激活值）称为超异常值。
如上所示，这些超离群值对模型质量的重要性是不成比例的，因此在量化过程中保留它们至关重要。
量化一般是将连续值映射到一个有限的值集；这里考虑的是其中一种最简单的形式，即非对称轮至最近量化：
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
其中大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」是量化步长，N 是比特数。请注意，计算 ∆ 时使用的是最大值，因此 X 中的超离群值会大大增加步长。步长越大，离群值平均会被舍入到更远的值，从而增加量化误差。随着超离群值的增加，离群值被舍入到更少的离散值中，更多的量化 bin 未被使用。这样，超离群值就会导致量化保真度降低。
研究者特别考虑了硬件以半精度执行运算的情况，这意味着张量 X 在使用前会进行量化和去量化；在这种情况下，我们可以通过两种方法利用超离群值的先验知识。
首先，保留超离群值，防止对离群值量化产生不利影响。其次，在去量化后恢复超离群值，以确保超离群值的效果得以保留。
接下来将以两种形式对权重和激活采用这一观点。
激活量化
研究者使用值舍入量化技术进行实验，并做了一个小修改：用中值替换超激活（REPLACE），量化（Q）和去量化（Q-1）激活，然后在 FP16 中恢复超激活（RESTORE）。具体操作如下：
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
由于超激活是单个标量，因此对比特率和内核复杂度的影响不大。
权重量化 
小规模分组会带来计算和比特率开销，需要其他技术来处理大量的半精度刻度和偏差。为了应对这一挑战，本文提出了一种简单的方法来改进 INT4 的大块量化。首先，识别超权重；其次，为了改善离群值拟合，对离群值权重进行剪切（CLIP），在这一步超权重也会被剪切，对剪切后的权重进行量化（Q）和去量化（Q-1）；然后，为了确保保留超权重的效果，在去量化后恢复半精度超权重（RESTORE）。
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
如上公式，使用 z-score 对剪切进行参数化。假定所有权重都符合高斯分布，研究者认为所有 z 值超过某一阈值 z 的值都是离群值。为了调整超参数 z，研究者使用 Wikitext-2 训练集中的 500 个示例找到了最小重构误差 z-score。
实验
为了全面展示超权重的效果，研究者在 LLaMA 7B-30B、Mistral 7B 和 OLMo 上进行了实验。为了评估 LLM 的实际应用能力，他们评估了这些模型在 PIQA、ARC、HellaSwag、Lambada 和 Winogrande 等零样本基准上的精度。细节如下所示。
激活量化
表 3 比较了本文方法和 SmoothQuant。对于两个数据集上的三个 Llama 模型，本文方法比 SmoothQuant 的 naive 量化方法提高了 70%。在使用 Llama7B 的 C4 数据集和使用 Llama-30B 的 Wikitext 数据集上，本文改进幅度超过 SmoothQuant 的 80%。这意味着，与更复杂的方法相比，经过大幅简化的量化方法可以获得具有竞争力的结果。
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
随后，研究者扩大了评估范围，纳入了更多的 LLM：OLMo（1B 和 7B）、Mistral-7B 和 Llama-2-7B，结果如表 4 和附录表 7 所示。这些模型代表了不同的架构和训练范式，能够评估量化方法的通用性。由于 SmoothQuant 没有报告这组模型，因此研究者将他们的结果与 naive W8A8 量化进行了比较。在所有模型和数据集上，本文方法始终优于 naive W8A8 量化，且在 OLMo 模型上表现特别突出。
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
值得注意的是，OLMo 模型使用非参数化 LayerNorm，因此与 SmoothQuant 方法不兼容，后者依靠 LayerNorm 权重来应用每个通道的比例。在 Mistral-7B 上，改进幅度较小。研究者假设这是因为这些模型的 LayerNorm 所学习的权重可能会积极抑制超激活，从而使激活幅度的分布更加均匀。
这些结果凸显了超激活在量化过程中保持模型性能的重要性。通过以最小的计算开销解决这一单一激活，本文方法捕捉到了更复杂的量化方案所实现的大部分优势。这一发现表明，在量化过程中，超激活在保持模型质量方面发挥着不成比例的巨大作用。
权重量化
为了评估所提出的超权重感知量化方法的有效性，研究者将其与传统的 round-to-near 量化方法进行了比较，在一套零样本下游任务中对模型进行了评估，结果如图 7 所示。
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
在传统的 round-to-near 量化方法中，可以观察到一个明显的趋势：随着块大小的增加，模型质量明显下降。这种下降可能是由于当较大的权重块一起量化时，量化误差会增加，从而使异常值影响到更多的权重。相比之下，本文的「超权重」感知量化方法对更大的块大小具有更强的鲁棒性。随着块大小的增大，模型质量的下降明显小于 round-to-near 方法。
这种鲁棒性源于本文方法能够保留最关键的权重（超权重），同时将离群值权重对整个量化过程的影响降至最低。通过剪除离群值并关注离群值权重，本文的方法在表示模型参数时保持了更高的保真度。
还有一个关键优势是，它能够支持更大的数据块尺寸，同时减少模型质量的损失。这种能力使平均比特率更低，文件尺寸更小，这对于在资源有限的环境（如移动设备或边缘计算场景）中部署模型至关重要。
更多研究细节，可参考原论文。

以上就是大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/613092.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

266.4K 文章
0 评论
1 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月11日 02:29:05
下一篇 2025年11月11日 02:30:06

相关推荐

  • 怎样用免费工具美化PPT_免费美化PPT的实用方法分享

    利用KIMI智能助手可免费将PPT美化为科技感风格，但需核对文字准确性；2. 天工AI擅长优化内容结构，提升逻辑性，适合高质量内容需求；3. SlidesAI支持语音输入与自动排版，操作便捷，利于紧急场景；4. Prezo提供多种模板，自动生成图文并茂幻灯片，适合学生与初创团队。 如果您有一份内容完…

    程序猿的头像 程序猿
    2025年12月6日 • 软件教程
    000

  • Pages怎么协作编辑同一文档 Pages多人实时协作的流程

    首先启用Pages共享功能，点击右上角共享按钮并选择“添加协作者”，设置为可编辑并生成链接；接着复制链接通过邮件或社交软件发送给成员，确保其使用Apple ID登录iCloud后即可加入编辑；也可直接在共享菜单中输入邮箱地址定向邀请，设定编辑权限后发送；最后在共享面板中管理协作者权限，查看实时在线状…

    程序猿的头像 程序猿
    2025年12月6日 • 软件教程
    100

  • 怎么下载安装快手极速版_快手极速版下载安装详细教程

    1、优先通过华为应用市场搜索“快手极速版”，确认开发者为北京快手科技有限公司后安装；2、若应用商店无结果，可访问快手极速版官网下载APK文件，需手动开启浏览器的未知来源安装权限；3、也可选择豌豆荚、应用宝等可信第三方平台下载官方版本，核对安全标识后完成安装。 如果您尝试在手机上安装快手极速版，但无法…

    程序猿的头像 程序猿
    2025年12月6日 • 软件教程
    000

  • REDMI K90系列正式发布，售价2599元起！

    10月23日，redmi k90系列正式亮相，推出redmi k90与redmi k90 pro max两款新机。其中，redmi k90搭载骁龙8至尊版处理器、7100mah大电池及100w有线快充等多项旗舰配置，起售价为2599元，官方称其为k系列迄今为止最完整的标准版本。 图源：REDMI红米…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    200

  • 买家网购苹果手机仅退款不退货遭商家维权，法官调解后支付货款

    10 月 24 日消息，据央视网报道，近年来，“仅退款”服务逐渐成为众多网购平台的常规配置，但部分消费者却将其当作“免费试用”的手段，滥用规则谋取私利。 江苏扬州市民李某在某电商平台购买了一部苹果手机，第二天便以“不想要”为由在线申请“仅退款”，当时手机尚在物流运输途中。第三天货物送达后，李某签收了…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    000

  • Linux中如何安装Nginx服务_Linux安装Nginx服务的完整指南

    首先更新系统软件包，然后通过对应包管理器安装Nginx，启动并启用服务，开放防火墙端口，最后验证欢迎页显示以确认安装成功。 在Linux系统中安装Nginx服务是搭建Web服务器的第一步。Nginx以高性能、低资源消耗和良好的并发处理能力著称，广泛用于静态内容服务、反向代理和负载均衡。以下是在主流L…

    程序猿的头像 程序猿
    2025年12月6日 • 运维
    000

  • Linux journalctl与systemctl status结合分析

    先看 systemctl status 确认服务状态，再用 journalctl 查看详细日志。例如 nginx 启动失败时，systemctl status 显示 Active: failed，journalctl -u nginx 发现端口 80 被占用，结合两者可快速定位问题根源。 在 Lin…

    程序猿的头像 程序猿
    2025年12月6日 • 运维
    100

  • 华为新机发布计划曝光：Pura 90系列或明年4月登场

    近日，有数码博主透露了华为2025年至2026年的新品规划，其中pura 90系列预计在2026年4月发布，有望成为华为新一代影像旗舰。根据路线图，华为将在2025年底至2026年陆续推出mate 80系列、折叠屏新机mate x7系列以及nova 15系列，而pura 90系列则将成为2026年上…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    100

  • Linux如何优化系统性能_Linux系统性能优化的实用方法

    优化Linux性能需先监控资源使用，通过top、vmstat等命令分析负载，再调整内核参数如TCP优化与内存交换，结合关闭无用服务、选用合适文件系统与I/O调度器，持续按需调优以提升系统效率。 Linux系统性能优化的核心在于合理配置资源、监控系统状态并及时调整瓶颈环节。通过一系列实用手段，可以显著…

    程序猿的头像 程序猿
    2025年12月6日 • 运维
    000

  • 传苹果A20 Pro采用全新封装工艺 或提升10%性能

    cnmo注意到，10月24日，有博主曝光了苹果a20 pro芯片的最新信息。据其透露，苹果a20 pro芯片有望采用台积电全新的封装工艺，配备nanoflex晶体管架构，预计性能将提升10%，同时功耗降低约20%。 相关爆料信息显示，苹果A20 Pro预计采用台积电新的晶圆级多芯片模块（WMCM）封…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    000

  • 曝小米17 Air正在筹备 超薄机身＋2亿像素＋eSIM技术？

    近日，手机行业再度掀起超薄机型热潮，三星与苹果已相继推出s25 edge与iphone air等轻薄旗舰，引发市场高度关注。在此趋势下，多家国产厂商被曝正积极布局相关技术，加速抢占这一细分赛道。据业内人士消息，小米的超薄旗舰机型小米17 air已进入筹备阶段。 小米17 Pro 爆料显示，小米正在评…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    000

  • 「世纪传奇刀片新篇」飞利浦影音双11声宴开启

    百年声学基因碰撞前沿科技，一场有关声音美学与设计美学的影音狂欢已悄然引爆2025“双十一”！ 当绝大多数影音数码品牌还在价格战中挣扎时，飞利浦影音已然开启了一场跨越百年的“声”活革命。作为拥有深厚技术底蕴的音频巨头，飞利浦影音及配件此次“双十一”精准聚焦“传承经典”与“设计美学”两大核心，为热爱生活…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    000

  • 荣耀手表5Pro 10月23日正式开启首销国补优惠价1359.2元起售

    荣耀手表5pro自9月25日开启全渠道预售以来，市场热度持续攀升，上市初期便迎来抢购热潮，一度出现全线售罄、供不应求的局面。10月23日，荣耀手表5pro正式迎来首销，提供蓝牙版与esim版两种选择。其中，蓝牙版本的攀登者（橙色）、开拓者（黑色）和远航者（灰色）首销期间享受国补优惠价，到手价为135…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    000

  • 环境搭建docker环境下如何快速部署mysql集群

    使用Docker Compose部署MySQL主从集群，通过配置文件设置server-id和binlog，编写docker-compose.yml定义主从服务并组网，启动后创建复制用户并配置主从连接，最后验证数据同步是否正常。 在Docker环境下快速部署MySQL集群，关键在于合理使用Docker…

    程序猿的头像 程序猿
    2025年12月6日 • 数据库
    000

  • Xbox删忍龙美女角色 斯宾塞致敬板垣伴信被喷太虚伪

    近日，海外游戏推主@HaileyEira公开发表言论，批评Xbox负责人菲尔·斯宾塞不配向已故的《死或生》与《忍者龙剑传》系列之父板垣伴信致敬。她指出，Xbox并未真正尊重这位传奇制作人的创作遗产，反而在宣传相关作品时对内容进行了审查和删减。 所涉游戏为年初推出的《忍者龙剑传2：黑之章》，该作采用虚…

    程序猿的头像 程序猿
    2025年12月6日 • 游戏教程
    000

  • 如何在mysql中分析索引未命中问题

    答案是通过EXPLAIN分析执行计划，检查索引使用情况，优化WHERE条件写法，避免索引失效，结合慢查询日志定位问题SQL，并根据查询模式合理设计索引。 当 MySQL 查询性能下降，很可能是索引未命中导致的。要分析这类问题，核心是理解查询执行计划、检查索引设计是否合理，并结合实际数据访问模式进行优…

    程序猿的头像 程序猿
    2025年12月6日 • 数据库
    000

  • VSCode入门：基础配置与插件推荐

    刚用VSCode，别急着装一堆东西。先把基础设好，再按需求加插件，效率高还不卡。核心就三步：界面顺手、主题舒服、功能够用。 设置中文和常用界面 打开软件，左边活动栏有五个图标，点最下面那个“扩展”。搜索“Chinese”，装上官方出的“Chinese (Simplified) Language Pa…

    程序猿的头像 程序猿
    2025年12月6日 • 开发工具
    000

  • php查询代码怎么写_php数据库查询语句编写技巧与实例

    在PHP中进行数据库查询，最常用的方式是使用MySQLi或PDO扩展连接MySQL数据库。下面介绍基本的查询代码写法、编写技巧以及实用示例，帮助你高效安全地操作数据库。 1. 使用MySQLi进行查询（面向对象方式） 这是较为推荐的方式，适合大多数中小型项目。 // 创建连接$host = ‘loc…

    程序猿的头像 程序猿
    2025年12月6日 • 后端开发
    000

  • 重现iPhone X颠覆性时刻！苹果2027年跳过19命名iPhone 20

    10月23日，有消息称，苹果或将再次调整iPhone的发布节奏，考虑跳过“iPhone 19”，并于2027年直接推出“iPhone 20”系列。 此举据传是为了庆祝初代iPhone发布二十周年，同时开启新一轮的设计革新，目标是复刻2017年iPhone X带来的划时代变革。 据悉，苹果或将告别长期…

    程序猿的头像 程序猿
    2025年12月6日 • 手机教程
    000

  • 如何在mysql中使用索引提高查询效率

    合理创建索引可显著提升MySQL查询效率，应优先为WHERE、JOIN、ORDER BY等高频字段建立B-Tree复合索引，如CREATE INDEX idx_status_created ON users(status, created_at, id)，并遵循最左前缀原则；避免在索引列使用函数或前…

    程序猿的头像 程序猿
    2025年12月6日 • 数据库
    000

发表回复

登录后才能评论
关注微信