投稿获客
广告
广告 广告 广告
广告 广告 广告 广告
广告 █ 推荐【菠萝云】香港16G内存99元 【CDNCloud】极速、安全可靠的加速体验 广告位联系QQ：253000106 【UStat】免费网站统计平台 SSL证书低至2折 单域名36元起 免费测试！海总一手APK免杀处理 广告位联系QQ：253000106 CDN 服务器 反炸 劫持 域名屏蔽 【UStat】专业网站统计平台 域名注册：海量域名快速注册 安卓免杀 谷歌报毒 封装 苹果签名 广告位联系QQ：253000106 【域名被劫持污染如何处理】 安卓免杀★超级签★封装★谷歌屏蔽 广告位联系QQ：253000106

*本站广告为第三方投放，如发生纠纷，请向本站索取第三方联系方式沟通

  1. 创想鸟首页
  2. 科技

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

程序猿 • • 科技 • 阅读 0

给 llama 2（羊驼）大模型剪一剪驼毛，会有怎样的效果呢？今天普林斯顿大学陈丹琦团队提出了一种名为 llm-shearing 的大模型剪枝法，可以用很小的计算量和成本实现优于同等规模模型的性能。

自大型语言模型（LLM）出现以来，它们便在各种自然语言任务上取得了显著的效果。不过，大型语言模型需要海量的计算资源来训练。因此，业界对构建同样强大的中型规模模型越来越感兴趣，出现了 LLaMA、MPT 和 Falcon，实现了高效的推理和微调。
这些规模不等的 LLM 适用于不同的用例，但从头开始训练每个单独的模型（即使是 10 亿参数小模型）还是需要大量计算资源，这对于大多数科研机构而言仍是很大的负担。
因此在本文中，普林斯顿大学陈丹琦团队试图解决以下问题：能否利用现有预训练 LLM 来构建一个规模更小、通用且在性能上有竞争力的 LLM，同时比从头开始训练需要的计算量少得多？
研究者探索利用结构化剪枝来实现目标。这里的问题是，对于通用 LLM，剪枝后的模型会出现性能下降，尤其是在剪枝后没有大量计算投入的情况。他们使用的高效剪枝方法可以用来开发规模更小但仍具有性能竞争力的 LLM，并且与从头开始训练相比，训练需要的计算量也大大减少。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

论文地址: https://arxiv.org/abs/2310.06694
代码地址: https://github.com/princeton-nlp/LLM-Shearing
ModelsSheared-LLaMA-1.3B, Sheared-LLaMA-2.7B
在对 LLM 进行剪枝之前，研究者确定了两个关键技术挑战，一是如何确定最终的性能强大、推理高效的剪枝结构？LLM 目前的结构化剪枝技术没有指定的目标结构，导致剪枝后模型在性能和推理速度方面不理想；二是如何继续预训练剪枝后的模型以达到预期性能？他们观察到，与从头开始训练模型相比，使用原始预训练数据来训练会导致不同域出现不同的损失减少。
针对这两个挑战，研究者提出了「LLM – shearing」算法。这种新颖的剪枝算法被称为「定向结构化剪枝」，它将源模型剪枝为指定的目标架构，该结构通过现有预训练模型的配置来确定。他们表示，该剪枝方法在源模型中搜索子结构，并在资源受限的情况下最大程度地保持性能。此外设计一种动态批量加载算法，它能根据损失减少率按比例加载每个域的训练数据，从而高效利用数据并加速整体性能的提升。
最终，研究者将 LLaMA2-7B 模型剪枝成了两个较小的 LLM，分别是 Sheared-LLaMA-1.3B 和 Sheared-LLaMA-2.7B，证实了其方法的有效性。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

他们仅仅使用 500 亿个 token（即 OpenLLaMA 预训练预算的 5%）进行剪枝和继续预训练，但对于 11 个代表性下游任务（如常识、阅读理解和世界知识）以及开放式生成的指令调整，这两个模型的性能仍然优于其他同等规模的流行 LLM，包括 Pythia、INCITE 和 OpenLLaMA。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

不过要提到一点，在这篇论文发布 Sheared-LLaMA-3B 的时候，最强 3B 开源模型的纪录已经被 StableLM-3B 打破了。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

此外，下游任务性能轨迹表明，使用更多 token 来进一步训练剪枝后的模型，将带来更大的收益。研究者只对最多 70 亿参数的模型进行了实验，但 LLM-shearing 具有高度通用性，可以在未来的工作中扩展到任何规模的大型语言模型。
方法介绍
给定一个现有的大模型 M_S（源模型），本文目标是研究如何有效地生成一个更小、更强的模型 M_T（目标模型）。该研究认为这需要两个阶段来完成：
第一阶段将 M_S 剪枝为 M_T，虽然这样减少了参数数量，但不可避免地导致性能下降；
第二阶段持续预训练 M_T，使其性能更强。
结构化剪枝
结构化剪枝可以去除模型大量参数，从而达到压缩模型并加速推理的效果。然而，现有的结构化剪枝方法会导致模型偏离常规架构的配置。例如 CoFiPruning 方法产生的模型具有不统一的层配置，与标准的统一层配置相比，这样会产生额外的推理开销。
本文对 CoFiPruning 进行了扩展，以允许将源模型剪枝为指定的任何目标配置。例如，本文在生成 2.7B 模型时使用 INCITE-Base-3B 架构作为目标结构。
此外，本文还在不同粒度的模型参数上学习一组剪枝掩码（ pruning mask），掩码变量如下所示：

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

每个掩码变量控制是否剪枝或保留相关的子结构。例如，如果对应的 z^layer= 0，则需要删除这个层。下图 2 说明了剪枝掩码如何控制被剪枝的结构。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

剪枝之后，本文通过保留与每个子结构中的掩码变量相关的最高得分组件来最终确定剪枝后的架构，并继续使用语言建模目标对剪枝后的模型进行预训练。
动态批量加载
该研究认为对剪枝后的模型进行大量预训练是很有必要的，这样才能恢复模型性能。
受其他研究的启发，本文提出了一种更有效的算法，即动态批量加载，其可以根据模型性能简单地动态调整域比例。算法如下：

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

实验及结果
模型配置：本文将 LLaMA2-7B 模型作为源模型，然后进行结构化剪枝实验，他们将 LLaMA2-7B 压缩成两个较小的目标尺寸 2.7 B 和 1.3B 参数，并将剪之后的模型与相同尺寸的模型进行了性能比较，包括 OPT-1.3B、Pythia-1.4B、OPT-2.7B、 Pythia-2.8B、INCITE-Base-3B、OpenLLaMA-3B-v1、OpenLLaMA-3B-v2。表 8 总结了所有这些模型的模型体系结构细节。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

数据：由于 LLaMA2 的训练数据并不是公开访问的，因此本文使用了 RedPajama 数据集 。表 1 提供了本文模型和基线模型使用的预训练数据。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

可图大模型 可图大模型

可图大模型（Kolors）是快手大模型团队自研打造的文生图AI大模型

可图大模型 32 查看详情 可图大模型

训练：研究者在所有实验中最多使用了 16 个 Nvidia A100 GPU (80GB)。
SHEARED-LLAMA 优于同等大小的 LM
本文表明，Sheared-LLaMA 明显优于现有的类似规模的 LLM，同时只使用一小部分计算预算来从头开始训练这些模型。
下游任务：表 2 展示了 Sheared-LLaMA 和类似大小的现有预训练模型的零样本和少样本在下游任务上的性能。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

指令调优：如图 3 所示，与同等规模的所有其他预训练模型相比，指令调优的 Sheared-LLaMA 实现了更高的获胜率。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

图 4 显示了 INCITEBase-3B 模型开始时的精度要高得多，但其性能在持续的预训练过程中趋于稳定。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

分析
最后，研究者对本文方法的优势进行了分析。
动态批量加载的有效性
其中，研究者从以下三个方面的影响来分析动态批量加载的有效性：(1) 跨域的最终 LM 损失，(2) 整个训练过程中每个域的数据使用情况，(3) 下游任务性能。结果均基于 Sheared-LaMA-1.3B 算法。
跨域损失差异。动态批量加载的目的是平衡各域的损失降低率，使损失在大致相同的时间内达到参考值。图 5 中绘制了模型损耗（原始批量加载和动态批量加载）与参考损耗之间的差异，相比之下，动态批量加载能均匀地减少损失，各域的损失差异也非常相似，这表明数据使用效率更高。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

数据使用情况。表 3 对比了 RedPajama 的原始数据比例和动态加载的域数据使用情况（图 7 展示了整个训练过程中域权重的变化）。与其他域相比，动态批量加载增加了 Book 和 C4 域的权重，这表明这些域更难恢复剪枝模型。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

下游性能。如图 6 所示，与在原始 RedPajama 分布上训练的模型相比，使用动态批量加载训练的剪枝模型获得了更好的下游性能。这表明，动态批量加载所带来的更均衡的损失减少可以提高下游性能。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

与其他剪枝方法的对比
此外，研究者将 LLM-shearing 方法与其他剪枝方法进行了比较，并报告了验证困惑度，它是衡量整体模型能力的一个有力指标。
由于计算上的限制，下面的实验控制了所有比较方法的总计算预算，而不是将每种方法运行到最后。
如表 4 所示，在相同稀疏度下，本文的目标剪枝模型的推理吞吐量比非均匀剪枝 CoFiPruning 模型更高，但困惑度略高。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

其他分析
表 5 显示，在控制 token 总量的情况下，增加剪枝开销可以持续改善困惑度。然而，由于剪枝比持续的预训练更昂贵，研究者将 0.4B 的 token 分配给剪枝。

手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法

更多研究细节，可参考原论文。

以上就是手把手教你剪「羊驼」，陈丹琦团队提出LLM-Shearing大模型剪枝法的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/481625.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

341.2K 文章
0 评论
1 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月8日 11:44:10
下一篇 2025年11月8日 11:45:02

相关推荐

  • Python的type()函数：获取对象的类型 好文分享

    Python的type()函数：获取对象的类型

    Python的type()函数：获取对象的类型，需要具体代码示例 在Python中，我们经常需要知道一个对象的类型，以便在程序中进行相应的处理。Python提供了type()函数来获取对象的类型。本文将介绍type()函数的使用方法，并给出具体的代码示例。 首先，我们来看一下type()函数的基本用…

    程序猿的头像 程序猿
    2025年12月13日
    000
  • HiDream-I1— 智象未来开源的文生图模型 科技

    HiDream-I1— 智象未来开源的文生图模型

    hidream-i1：一款强大的开源图像生成模型 HiDream-I1是由HiDream.ai团队开发的17亿参数开源图像生成模型，采用MIT许可证，在图像质量和对提示词的理解方面表现卓越。它支持多种风格，包括写实、卡通和艺术风格，广泛应用于艺术创作、商业设计、科研教育以及娱乐媒体等领域。 HiDr…

    程序猿的头像 程序猿
    2025年12月5日
    000

  • AI动画制作工具排行榜 能免费使用的10款AI动画制作工具推荐

    以下是10款免费的AI动画制作工具：1.智影：腾讯推出的在线视频制作平台，提供日漫风格，限时免费。2.Artflow：AI动画创建工具，Story Studio具有视频漫画生成功能，支持12种画面视觉风格。3.Flow Studio：通过文字生成视频片段，支持多种画面风格，新用户有200积分免费生成…

    程序猿的头像 程序猿
    2025年12月4日 • 科技
    000
  • Linux实现自动挂载autofs的方法详解 科技

    Linux实现自动挂载autofs的方法详解

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 目录 实现自动挂载-autofs autofs工具简单使用 autofs配置详细说明 自动挂载资源有两种格式 优化Linux系统性能 安装Tuned 选择调整配置文件 检查系统推荐的调整配置文件…

    程序猿的头像 程序猿
    2025年12月4日
    000

  • BlenderMCP— 基于 MCP 集成的 3D 建模工具

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ MCP Market MCP Servers集合平台，帮你找到最好的MCP服务器 67 查看详情 BlenderMCP是什么 blendermcp是一种将blender与claude ai通过模…

    程序猿的头像 程序猿
    2025年12月4日 • 科技
    000
  • VSCode怎么出现波浪线_VSCode错误提示和语法检查功能说明教程 开发工具

    VSCode怎么出现波浪线_VSCode错误提示和语法检查功能说明教程

    VSCode中的波浪线是语言服务、Linter和编译器协同提供的实时反馈，红色表示错误（如语法错误），黄色表示警告（如未使用变量），绿色或下划线表示建议（如代码优化），通过悬停查看提示、检查配置文件（如tsconfig.json、.eslintrc）、使用“问题”面板（Ctrl+Shift+M）定位…

    程序猿的头像 程序猿
    2025年12月4日
    100

  • RL 是推理神器？清华上交大最新研究指出：RL 让大模型更会“套公式”、却不会真推理

    清华和上交的最新论文中，上演了一场“学术打假”的戏码。文中研究者们对当前“纯 rl 有利于提升模型推理能力”的主流观点提出了相反的意见。 通过一系列实验，他们证明引入强化学习的模型在某些任务中的表现，竟然不如未使用强化学习的模型。 论文批判性地探讨了 RLVR 在提升 LLM 推理能力方面的作用，尤…

    程序猿的头像 程序猿
    2025年12月3日 • 科技
    100
  • 豆包 AI 官网入口 豆包 AI 使用在线入口 科技

    豆包 AI 官网入口 豆包 AI 使用在线入口

    豆包 AI 的官网入口是 https://www.doubao.com/，使用攻略包括：1. 注册与登录：通过官网注册或第三方账号登录；2. 选择使用方式：网页版、PC 客户端、手机 APP、浏览器插件；3. 基础操作：直接对话、上传图片、使用智能体、保存对话；4. 提问技巧：问题具体化、提供背景信…

    程序猿的头像 程序猿
    2025年12月2日
    200
  • 豆包 AI 网页端入口 豆包 AI 网页端在线网址 科技

    豆包 AI 网页端入口 豆包 AI 网页端在线网址

    豆包 AI 网页端入口是 https://www.doubao.com/chat/。其特色功能包括：1. 智能问答，提供各领域的准确答案；2. 内容生成与辅助创作，支持写作和图像生成；3. 搜索与浏览辅助，优化搜索结果并提供网页摘要；4. 对话管理与分享，支持对话分组和分享；5. 本地图片编辑，提供…

    程序猿的头像 程序猿
    2025年12月2日
    000
  • 豆包 AI 手机客户端入口 豆包 AI 客户端在线入口 科技

    豆包 AI 手机客户端入口 豆包 AI 客户端在线入口

    安卓用户可通过应用商店下载或官网下载获取豆包AI客户端，iOS用户通过App Store获取。安装后，打开应用并注册登录即可使用。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 入口地址： 1、豆包ai手机客户端入口☜☜☜☜☜点击保存 2、…

    程序猿的头像 程序猿
    2025年12月2日
    000

  • DeepSeek如何用函数调用自动化任务_DeepSeek用函数调用自动化任务【任务自动化】

    答案：通过配置API环境、定义函数描述、处理调用请求、回传执行结果及支持多轮协作，可利用DeepSeek函数调用实现任务自动化。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 如果您希望利用DeepSeek的函数调用能力实现任务自动化，可以…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • GitHubCopilot怎样用函数目标提示加速_GitHubCopilot用函数目标提示加速【目标提示】

    使用注释和类型标注可精准引导代码生成：先通过详细注释说明函数目标，再结合类型声明提升补全准确性，最后利用JSDoc等结构化注释触发包含参数校验与异常处理的完整逻辑建议。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 如果您在编写代码时希望利…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • DeepSeek如何用代码解释器调试脚本_DeepSeek用代码解释器调试脚本【调试辅助】

    首先启用调试模式并设置断点，逐步执行代码以观察变量状态；通过变量面板和打印日志检查数据传递是否正确；利用分段执行与注释隔离法缩小错误范围；最后结合try-except捕获异常，定位具体错误类型与位置。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000
  • 亚马逊发布 Bedrock，推出多项新功能，助力企业利用生成式AI技术 科技

    亚马逊发布 Bedrock，推出多项新功能，助力企业利用生成式AI技术

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 亚马逊网络服务公司近日在生态系统中推出了五款全新的生成式人工智能产品，这些产品将帮助企业客户利用自己的数据建立人工智能应用程序，并提供更好的安全性和模型的可及性。 这些新服务的包括全面推出的Am…

    程序猿的头像 程序猿
    2025年12月2日
    000

  • 语言模型有重大缺陷，知识推演竟然是老大难

    惊人发现：大模型在知识推演上存在严重缺陷。 灵活运用知识是智慧的关键。人脑可以快速处理知识，如快速回答 “《静夜思》中有几个月字”。那么，大模型是否能进行类似操作？已知大模型可以通过思维链（Chain of Thought / CoT），先默写《静夜思》，再根据默写内容回答问题，但这会使生成的文字冗…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • 深度学习巨头DeepMind在ImageNet数据集上取得突破性进展，为机器人研究带来新的里程碑

    机器人技术为什么远远落后于自然语言处理（nlp）、视觉和其他人工智能领域？除了其他困难外，数据短缺是主要原因。为了解决这个问题，谷歌 deepmind 联合其他机构推出了开放式 x-embodiment 数据集，并成功训练出了更强大的 rt-x 模型 在大模型不断取得突破的 2023，把大模型当做大…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • 最多400万token上下文、推理提速22倍，StreamingLLM火了，已获GitHub 2.5K星

    如果你曾经与任何一款对话式 AI 机器人交流过，你一定会记得一些令人感到非常沮丧的时刻。比如，你在前一天的对话中提到的重要事项，被 AI 完全忘记了…… 这是因为当前的多数 LLM 只能记住有限的上下文，就像为考试而临时抱佛脚的学生，稍加盘问就会「露出马脚」。 如果AI助手能够在聊天中根据上下文参考…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • 实战部署：动态时序网络用于端到端检测和跟踪

    本文经自动驾驶之心公众号授权转载，转载请联系出处。 相信除了少数自研芯片的大厂,绝大多数自动驾驶公司都会使用英伟达NVIDIA芯片,那就离不开TensorRT. TensorRT是在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型，可以首…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • PyTorch+昇腾 共促AI生态创新发展

    2023年10月5日（北京时间），pyt%ignore_a_1%rch社区正式发布了2.1版本。经过pytorch社区与昇腾的持续合作和共同努力，pytorch 2.1版本已经同步支持昇腾npu。这意味着开发者可以直接在pytorch 2.1上进行基于昇腾的模型开发。未来，通过持续的社区技术贡献，昇…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • 选择最适合数据的嵌入模型：OpenAI 和开源多语言嵌入的对比测试

    openai最近宣布推出他们的最新一代嵌入模型embedding v3，他们声称这是性能最出色的嵌入模型，具备更高的多语言性能。这一批模型被划分为两种类型：规模较小的text-embeddings-3-small和更为强大、体积较大的text-embeddings-3-large。 ☞☞☞AI 智能…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

发表回复

登录后才能评论
关注微信