投稿获客
广告
广告 广告 广告
广告 广告 广告 广告
广告 █ 推荐【菠萝云】香港16G内存99元 【CDNCloud】极速、安全可靠的加速体验 广告位联系QQ：253000106 【UStat】免费网站统计平台 SSL证书低至2折 单域名36元起 免费测试！海总一手APK免杀处理 广告位联系QQ：253000106 CDN 服务器 反炸 劫持 域名屏蔽 【UStat】专业网站统计平台 域名注册：海量域名快速注册 安卓免杀 谷歌报毒 封装 苹果签名 广告位联系QQ：253000106 【域名被劫持污染如何处理】 安卓免杀★超级签★封装★谷歌屏蔽 广告位联系QQ：253000106

*本站广告为第三方投放，如发生纠纷，请向本站索取第三方联系方式沟通

  1. 创想鸟首页
  2. 科技

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

程序猿 • • 科技 • 阅读 0

给 llama 2（羊驼）大模型剪一剪驼毛，会有怎样的效果呢？今天普林斯顿大学陈丹琦团队提出了一种名为 llm-shearing 的大模型剪枝法，可以用很小的计算量和成本实现优于同等规模模型的性能。

自大型语言模型（LLM）出现以来，它们便在各种自然语言任务上取得了显著的效果。不过，大型语言模型需要海量的计算资源来训练。因此，业界对构建同样强大的中型规模模型越来越感兴趣，出现了 LLaMA、MPT 和 Falcon，实现了高效的推理和微调。
这些规模不等的 LLM 适用于不同的用例，但从头开始训练每个单独的模型（即使是 10 亿参数小模型）还是需要大量计算资源，这对于大多数科研机构而言仍是很大的负担。
因此在本文中，普林斯顿大学陈丹琦团队试图解决以下问题：能否利用现有预训练 LLM 来构建一个规模更小、通用且在性能上有竞争力的 LLM，同时比从头开始训练需要的计算量少得多？
研究者探索利用结构化剪枝来实现目标。这里的问题是，对于通用 LLM，剪枝后的模型会出现性能下降，尤其是在剪枝后没有大量计算投入的情况。他们使用的高效剪枝方法可以用来开发规模更小但仍具有性能竞争力的 LLM，并且与从头开始训练相比，训练需要的计算量也大大减少。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

论文地址: https://arxiv.org/abs/2310.06694
代码地址: https://github.com/princeton-nlp/LLM-Shearing
ModelsSheared-LLaMA-1.3B, Sheared-LLaMA-2.7B
在对 LLM 进行剪枝之前，研究者确定了两个关键技术挑战，一是如何确定最终的性能强大、推理高效的剪枝结构？LLM 目前的结构化剪枝技术没有指定的目标结构，导致剪枝后模型在性能和推理速度方面不理想；二是如何继续预训练剪枝后的模型以达到预期性能？他们观察到，与从头开始训练模型相比，使用原始预训练数据来训练会导致不同域出现不同的损失减少。
针对这两个挑战，研究者提出了「LLM – shearing」算法。这种新颖的剪枝算法被称为「定向结构化剪枝」，它将源模型剪枝为指定的目标架构，该结构通过现有预训练模型的配置来确定。他们表示，该剪枝方法在源模型中搜索子结构，并在资源受限的情况下最大程度地保持性能。此外设计一种动态批量加载算法，它能根据损失减少率按比例加载每个域的训练数据，从而高效利用数据并加速整体性能的提升。
最终，研究者将 LLaMA2-7B 模型剪枝成了两个较小的 LLM，分别是 Sheared-LLaMA-1.3B 和 Sheared-LLaMA-2.7B，证实了其方法的有效性。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

他们仅仅使用 500 亿个 token（即 OpenLLaMA 预训练预算的 5%）进行剪枝和继续预训练，但对于 11 个代表性下游任务（如常识、阅读理解和世界知识）以及开放式生成的指令调整，这两个模型的性能仍然优于其他同等规模的流行 LLM，包括 Pythia、INCITE 和 OpenLLaMA。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

不过要提到一点，在这篇论文发布 Sheared-LLaMA-3B 的时候，最强 3B 开源模型的纪录已经被 StableLM-3B 打破了。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

此外，下游任务性能轨迹表明，使用更多 token 来进一步训练剪枝后的模型，将带来更大的收益。研究者只对最多 70 亿参数的模型进行了实验，但 LLM-shearing 具有高度通用性，可以在未来的工作中扩展到任何规模的大型语言模型。
方法介绍
给定一个现有的大模型 M_S（源模型），本文目标是研究如何有效地生成一个更小、更强的模型 M_T（目标模型）。该研究认为这需要两个阶段来完成：
第一阶段将 M_S 剪枝为 M_T，虽然这样减少了参数数量，但不可避免地导致性能下降；
第二阶段持续预训练 M_T，使其性能更强。
结构化剪枝
结构化剪枝可以去除模型大量参数，从而达到压缩模型并加速推理的效果。然而，现有的结构化剪枝方法会导致模型偏离常规架构的配置。例如 CoFiPruning 方法产生的模型具有不统一的层配置，与标准的统一层配置相比，这样会产生额外的推理开销。
本文对 CoFiPruning 进行了扩展，以允许将源模型剪枝为指定的任何目标配置。例如，本文在生成 2.7B 模型时使用 INCITE-Base-3B 架构作为目标结构。
此外，本文还在不同粒度的模型参数上学习一组剪枝掩码（ pruning mask），掩码变量如下所示：

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

每个掩码变量控制是否剪枝或保留相关的子结构。例如，如果对应的 z^layer= 0，则需要删除这个层。下图 2 说明了剪枝掩码如何控制被剪枝的结构。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

剪枝之后，本文通过保留与每个子结构中的掩码变量相关的最高得分组件来最终确定剪枝后的架构，并继续使用语言建模目标对剪枝后的模型进行预训练。
动态批量加载
该研究认为对剪枝后的模型进行大量预训练是很有必要的，这样才能恢复模型性能。
受其他研究的启发，本文提出了一种更有效的算法，即动态批量加载，其可以根据模型性能简单地动态调整域比例。算法如下：

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

实验及结果
模型配置：本文将 LLaMA2-7B 模型作为源模型，然后进行结构化剪枝实验，他们将 LLaMA2-7B 压缩成两个较小的目标尺寸 2.7 B 和 1.3B 参数，并将剪之后的模型与相同尺寸的模型进行了性能比较，包括 OPT-1.3B、Pythia-1.4B、OPT-2.7B、 Pythia-2.8B、INCITE-Base-3B、OpenLLaMA-3B-v1、OpenLLaMA-3B-v2。表 8 总结了所有这些模型的模型体系结构细节。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

数据：由于 LLaMA2 的训练数据并不是公开访问的，因此本文使用了 RedPajama 数据集 。表 1 提供了本文模型和基线模型使用的预训练数据。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

可图大模型 可图大模型

可图大模型（Kolors）是快手大模型团队自研打造的文生图AI大模型

可图大模型 32 查看详情 可图大模型

训练：研究者在所有实验中最多使用了 16 个 Nvidia A100 GPU (80GB)。
SHEARED-LLAMA 优于同等大小的 LM
本文表明，Sheared-LLaMA 明显优于现有的类似规模的 LLM，同时只使用一小部分计算预算来从头开始训练这些模型。
下游任务：表 2 展示了 Sheared-LLaMA 和类似大小的现有预训练模型的零样本和少样本在下游任务上的性能。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

指令调优：如图 3 所示，与同等规模的所有其他预训练模型相比，指令调优的 Sheared-LLaMA 实现了更高的获胜率。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

图 4 显示了 INCITEBase-3B 模型开始时的精度要高得多，但其性能在持续的预训练过程中趋于稳定。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

分析
最后，研究者对本文方法的优势进行了分析。
动态批量加载的有效性
其中，研究者从以下三个方面的影响来分析动态批量加载的有效性：(1) 跨域的最终 LM 损失，(2) 整个训练过程中每个域的数据使用情况，(3) 下游任务性能。结果均基于 Sheared-LaMA-1.3B 算法。
跨域损失差异。动态批量加载的目的是平衡各域的损失降低率，使损失在大致相同的时间内达到参考值。图 5 中绘制了模型损耗（原始批量加载和动态批量加载）与参考损耗之间的差异，相比之下，动态批量加载能均匀地减少损失，各域的损失差异也非常相似，这表明数据使用效率更高。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

数据使用情况。表 3 对比了 RedPajama 的原始数据比例和动态加载的域数据使用情况（图 7 展示了整个训练过程中域权重的变化）。与其他域相比，动态批量加载增加了 Book 和 C4 域的权重，这表明这些域更难恢复剪枝模型。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

下游性能。如图 6 所示，与在原始 RedPajama 分布上训练的模型相比，使用动态批量加载训练的剪枝模型获得了更好的下游性能。这表明，动态批量加载所带来的更均衡的损失减少可以提高下游性能。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

与其他剪枝方法的对比
此外，研究者将 LLM-shearing 方法与其他剪枝方法进行了比较，并报告了验证困惑度，它是衡量整体模型能力的一个有力指标。
由于计算上的限制，下面的实验控制了所有比较方法的总计算预算，而不是将每种方法运行到最后。
如表 4 所示，在相同稀疏度下，本文的目标剪枝模型的推理吞吐量比非均匀剪枝 CoFiPruning 模型更高，但困惑度略高。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

其他分析
表 5 显示，在控制 token 总量的情况下，增加剪枝开销可以持续改善困惑度。然而，由于剪枝比持续的预训练更昂贵，研究者将 0.4B 的 token 分配给剪枝。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

更多研究细节，可参考原论文。

以上就是手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/481625.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

414.1K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月8日 11:44:10
下一篇 2025年11月8日 11:45:02

相关推荐

  • 如何用HTML插入标签云组件_HTML CSS3变换与随机颜色生成算法 好文分享

    如何用HTML插入标签云组件_HTML CSS3变换与随机颜色生成算法

    使用HTML构建标签结构，CSS3添加旋转与过渡效果，JavaScript生成随机HSL颜色并设置字体大小，实现动态交互的标签云组件。 要在网页中实现一个动态的标签云组件，结合 HTML、CSS3 变换和随机颜色生成算法，可以按照以下步骤操作。这个组件不仅能提升页面视觉效果，还能通过色彩和旋转增加交…

    程序猿的头像 程序猿
    2025年12月23日
    000
  • 如何在Go Gin应用中集成前端JavaScript模块（如Sentry） 好文分享

    如何在Go Gin应用中集成前端JavaScript模块（如Sentry）

    本文探讨了在Go Gin框架下，通过HTML模板服务前端页面时，如何有效集成JavaScript模块（如Sentry）。针对浏览器不直接支持Node.js模块导入语法的问题，文章详细阐述了利用CDN引入Sentry SDK的解决方案，并提供了具体的代码示例，帮助开发者实现前端错误监控功能，避免了复杂…

    程序猿的头像 程序猿
    2025年12月23日
    000
  • html官网浏览入口_html网站设计免费平台 好文分享

    html官网浏览入口_html网站设计免费平台

    html官网浏览入口在https://www.codepen.io，该平台支持实时预览代码、创建Pen项目、Fork开源示例，可添加外部资源，具备点赞评论收藏等社区互动功能，设有挑战活动与作品集分类，开放API接口，界面简洁适合初学者，在线编写无需配置环境，支持多种预处理器和响应式测试。 html官…

    程序猿的头像 程序猿
    2025年12月23日
    000
  • html如何修改日期样式 好文分享

    html如何修改日期样式

    在html中，可以使用“::-webkit-datetime-edit”伪元素选择器来修改日期格式，只需要用该选择器选中元素，在设置具体样式即可，具体语法为“::-webkit-datetime-edit{属性:属性值}”。 本教程操作环境：windows7系统、CSS3&&HTML…

    程序猿的头像 程序猿
    2025年12月21日
    100
  • 单选框的type属性值为什么 好文分享

    单选框的type属性值为什么

    单选框的type属性值为“radio”。html type属性可以规定要显示的输入框“”元素的类型；值为“radio”时显示为单选框、“checkbox”时显示为复选框、“select”时显示为下拉式选框等等。 本教程操作环境：windows7系统、HTML5版、Dell G3电脑。 在HTML中，…

    程序猿的头像 程序猿
    2025年12月21日
    000
  • HTML中type是什么意思 好文分享

    HTML中type是什么意思

    在HTML中，type是类型的意思，是一个标签属性，主要用于定义标签元素的类型或文档（脚本）的MIME类型；例在input标签中type属性可以规定input元素的类型，在script标签中type属性可以规定脚本的MIME类型。 本教程操作环境：windows7系统、html5版、Dell G3电…

    程序猿的头像 程序猿
    2025年12月21日
    000

  • HTML中ul标签如何去掉点？HTML无序列表的样式实例解析

    本篇文章主要讲述的是关于html中的ul标签的默认小点给取消掉，还有关于html的无序列表ul标签的样式解释，给出了ul标签中的type属性三种值的介绍。现在就让我们一起来看本篇文章吧 首先这篇文章一开始我们就开始介绍在html中是怎么把ul标签的点给去掉的： 大家应该都使用过ul无序列表标签，ul…

    程序猿的头像 程序猿
    2025年12月21日 • 好文分享
    000

  • html中的ol标签如何去掉标号呢？标签的使用方法总结

    本篇文章介绍了html的ol标签是怎么去掉序号标号的，这里还有代码的详细解释，还有介绍了关于html ol有序列表标签如何更改序号，下文介绍了三种序号，大家也可以自己去想填写怎样的序号。现在来看这篇文章吧 一、我们先看看html中的ol标签是如何去掉标号的呢： 我们都知道html的ol标签是个有序列…

    程序猿的头像 程序猿
    2025年12月21日 • 好文分享
    000
  • HTML ul标签的什么意思？HTML ul标签的作用详解 好文分享

    HTML ul标签的什么意思？HTML ul标签的作用详解

    本篇文章主要的为大家讲解了关于html ul标签的三种重要的用法，还有关于html ul标签的解释，包含li标签的还有type属性对ul标签的使用情况，好了，下面大家一起来看文章吧 首先让我们先来解释一下HTML ul标签的意思： ul标签定义的是表格当中无序列表，表格当中的无序列表都是在 标签之中…

    程序猿的头像 程序猿
    2025年12月21日
    000
  • javascript框架和库是什么_如何选择React、Vue或Angular？ 好文分享

    javascript框架和库是什么_如何选择React、Vue或Angular？

    JavaScript框架与库分别提供按需调用的功能集合和约束性开发结构；React是UI组件库，生态灵活但需自行整合工具；Vue渐进式易上手，兼顾原型与工程化；Angular是全功能TypeScript框架，适合强规范企业级项目。 JavaScript框架和库是封装好的代码集合，用来简化前端开发——…

    程序猿的头像 程序猿
    2025年12月21日
    000
  • React应用生产环境环境变量配置深度指南 好文分享

    React应用生产环境环境变量配置深度指南

    本文针对react应用在生产环境中无法读取`.env`文件配置的环境变量问题，深入剖析其工作原理、常见原因及排查方法。通过详细的步骤和示例代码，指导开发者正确配置和使用环境变量，解决api调用层面的`null`响应问题，确保应用在生产环境下的稳定运行。 在React应用开发中，环境变量（如API密钥…

    程序猿的头像 程序猿
    2025年12月21日
    000
  • JS注解怎么实现文档化_ JS注解生成开发文档的流程与工具 好文分享

    JS注解怎么实现文档化_ JS注解生成开发文档的流程与工具

    JSDoc是一种JavaScript结构化注释规范，通过@param、@returns等标签描述代码元素，并借助工具生成HTML文档，结合IDE支持和CI/CD可提升团队协作效率。 JavaScript本身不支持原生注解（Annotation）像Java那样的语法，但通过约定的注释格式和配套工具，可…

    程序猿的头像 程序猿
    2025年12月21日
    000
  • JS注解怎么标注联合类型_ JS联合类型的注解书写与使用技巧 好文分享

    JS注解怎么标注联合类型_ JS联合类型的注解书写与使用技巧

    在JavaScript中可通过JSDoc使用联合类型注解，如string|number表示多类型支持，结合@param、@typedef等标签提升代码可读性与编辑器提示，适用于函数参数、返回值等场景。 在JavaScript中，虽然原生不支持类型注解，但在使用JSDoc配合现代编辑器（如VS Cod…

    程序猿的头像 程序猿
    2025年12月21日
    000
  • VS Code主题开发：告别JSON，拥抱脚本化生成 好文分享

    VS Code主题开发：告别JSON，拥抱脚本化生成

    vs code主题扩展最终需json格式定义，但开发者可通过javascript或typescript等脚本语言生成此json文件。这种方法有效解决了大型json文件难以维护、不支持注释等问题，并能实现颜色动态计算，显著提升主题开发的灵活性与效率。 为什么选择脚本化生成VS Code主题？ 在开发V…

    程序猿的头像 程序猿
    2025年12月20日
    000
  • 如何用Quasar框架开发一个跨平台应用？ 好文分享

    如何用Quasar框架开发一个跨平台应用？

    Quasar基于Vue.js用一套代码构建多平台应用，支持响应式网站、PWA、移动App和桌面应用。通过quasar create创建项目，利用模式（SPA、PWA、Electron等）切换目标平台，使用Quasar组件库编写通用UI，配合Pinia管理状态，最后通过不同构建命令发布到各平台，实现高…

    程序猿的头像 程序猿
    2025年12月20日
    000
  • 怎么利用JavaScript进行前端代码覆盖率统计？ 好文分享

    怎么利用JavaScript进行前端代码覆盖率统计？

    答案：利用JavaScript进行前端代码覆盖率统计的核心是通过Istanbul/nyc等工具对代码插桩，结合测试框架收集执行数据并生成报告。具体流程包括：在代码执行前通过Babel或Webpack插件（如babel-plugin-istanbul）插入计数器实现插桩；运行测试时记录哪些代码被执行；…

    程序猿的头像 程序猿
    2025年12月20日
    100
  • typescript中的参数分享 好文分享

    typescript中的参数分享

    TypeScript 中的参数共享允许组件间共享参数，实现跨组件状态维护和数据变更共享。通过 @Input 装饰器传递父组件参数，使用 @Output 装饰器定义子组件事件，以便在子组件状态改变时通知父组件。参数共享提高复用性，简化状态管理，允许子组件向父组件发出通知，但应谨慎使用，避免大量数据共享…

    程序猿的头像 程序猿
    2025年12月19日
    000
  • 手机如何运行typescript方法 好文分享

    手机如何运行typescript方法

    要在手机上运行 TypeScript 方法，可以使用 TypeScript 编译器或第三方库：TypeScript 编译器： 将 TypeScript 代码编译成 JavaScript，然后集成到移动应用程序中。第三方库： 如 React Native 或 NativeScript，允许使用 Typ…

    程序猿的头像 程序猿
    2025年12月19日
    000
  • typescript用来干嘛_typescript的作用 好文分享

    typescript用来干嘛_typescript的作用

    TypeScript 是一种用于构建大型复杂应用程序的开源编程语言，它扩展了 JavaScript 的功能，具有以下作用：类型系统：编译时检查类型错误，提高代码可靠性。面向对象编程特性：支持类、接口、抽象类，增强代码组织性和维护性。模块系统：分解程序为可重用模块，提升可维护性和可扩展性。全面的类型推…

    程序猿的头像 程序猿
    2025年12月19日
    000
  • TypeScript基本用法和语法 好文分享

    TypeScript基本用法和语法

    TypeScript 是一种具有类型系统的 JavaScript 超集，提供以下特性：类型注解：确保变量、函数和类的类型一致。接口：定义方法和属性，供类实现。枚举：提供命名常量集。泛型：创建可重用且类型安全的组件。 TypeScript 基本用法和语法 TypeScript 是一种超集 JavaSc…

    程序猿的头像 程序猿
    2025年12月19日
    000

发表回复

登录后才能评论
关注微信