投稿获客
广告
广告 广告 广告
广告 广告 广告 广告
广告 █ 推荐【菠萝云】香港16G内存99元 【CDNCloud】极速、安全可靠的加速体验 广告位联系QQ：253000106 【UStat】免费网站统计平台 SSL证书低至2折 单域名36元起 免费测试！海总一手APK免杀处理 广告位联系QQ：253000106 CDN 服务器 反炸 劫持 域名屏蔽 【UStat】专业网站统计平台 域名注册：海量域名快速注册 安卓免杀 谷歌报毒 封装 苹果签名 广告位联系QQ：253000106 【域名被劫持污染如何处理】 安卓免杀★超级签★封装★谷歌屏蔽 广告位联系QQ：253000106

*本站广告为第三方投放，如发生纠纷，请向本站索取第三方联系方式沟通

  1. 创想鸟首页
  2. 科技

70倍极致压缩！大模型的检查点再多也不怕

程序猿 • • 科技 • 阅读 0
70倍极致压缩！大模型的检查点再多也不怕
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
该论文的作者均来自于华为诺亚实验室，第一作者为李文硕，通讯作者为王云鹤和陈醒濠。相关团队团队近年来在ICML、CVPR、NeurIPS、ICCV、ECCV等顶会上有多项代表性工作发表，在高效大语言模型、视觉模型等领域都有丰富的成果产出，和知名高校和科研机构合作广泛。
大模型作为当下 AI 工业界和学术界当之无愧的「流量之王」，吸引了大批学者和企业投入资源去研究与训练。随着规模越做越大，系统和工程问题已经成了大模型训练中绕不开的难题。例如在 Llama3.1 54 天的训练里，系统会崩溃 466 次，平均 2.78 小时一次！

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

70倍极致压缩！大模型的检查点再多也不怕

那么，频繁存储检查点就显得十分必要。但存储检查点本身也是一个大工程。

70倍极致压缩！大模型的检查点再多也不怕

Meta 做了很多努力来加速存储检查点时间和增加存储频率，来对抗频繁出现的系统失效。但频繁存储也意味着大量的存储资源开销，其训练集群配备了 240PB 的 SSD 来应对这一挑战，光存储这一项的耗费就要亿元！
华为诺亚的 ExCP 方法也就应运而生，为了应对存储带来的巨大开销，他们提出了极致压缩检查点技术，能够无损压缩模型 70 倍，大幅降低训练中的存储开销。

70倍极致压缩！大模型的检查点再多也不怕

70倍极致压缩！大模型的检查点再多也不怕

代码目前已经开源，在 Apache 2.0 框架下发布，issue 中已经有小伙伴成功复现了结果。

70倍极致压缩！大模型的检查点再多也不怕

文章地址：https://arxiv.org/abs/2406.11257
仓库地址：https://github.com/Gaffey/ExCP
方法也很有创新性，文章中提到了两个重要的概念，一个是利用训练中检查点的残差信息，通过时间序列上信息的稀疏性实现更高的剪枝比例；另一个是将优化器和权重联合起来进行压缩，实现整体的高压缩率。

70倍极致压缩！大模型的检查点再多也不怕

具体方法

1. 检查点残差
在训练过程中，当前的参数可以看作上一个检查点存储的权重加上逐次迭代时梯度更新的总和，这部分是相对稀疏的，包含的信息量较少，因此对这一残差进行压缩，可以获得更好的压缩比例。而与此相反的，优化器中存储的动量是梯度一阶矩和二阶矩的滑动平均值，对于一阶矩来说，它的滑动平均默认的参数是 0.9，在数百到数千个迭代之后与上一次检查点存储的内容已经没有太大的关联，所以对于优化器直接压缩其本身的值而非残差。最终待压缩的检查点表示为

70倍极致压缩！大模型的检查点再多也不怕

2. 权重 – 优化器动量联合压缩
目前已有的模型压缩相关的工作一般只关注于模型的推理性能，或者是模型最终存储检查点的大小，而不关注模型在整个训练过程中对储存空间的开销。因而已有工作只对权重进行压缩，而忽略了 Adam 等常见优化器中实际上存储了两倍于权重数量的动量。这一工作一方面将两者一起进行了压缩，显著提升了整体的压缩比例；另一方面也利用了权重和优化器动量的关联性，进一步提升彼此的压缩比例。
权重剪枝：由于剪枝的权重是残差值，优化器动量的二阶矩可以大致表示在过去一段时间内权重残差值的变化幅度，所以可以使用优化器动量的二阶矩作为指标来确定不同层的剪枝比例。剪枝策略如下文公式所示

70倍极致压缩！大模型的检查点再多也不怕式中，W 和70倍极致压缩！大模型的检查点再多也不怕分别表示权重和二阶矩。

新CG儿 新CG儿

数字视觉分享平台 | AE模板_视频素材

新CG儿 412 查看详情 新CG儿

优化器动量剪枝：对于动量剪枝，可以使用一阶矩作为指示器来进行剪枝，论文中有关于可收敛性的一个简要证明。同时，如果一个位置的权重已经被剪枝，那么对应位置的优化器动量也应该同步被处理，所以剪枝策略如下文公式所示

70倍极致压缩！大模型的检查点再多也不怕

式中，70倍极致压缩！大模型的检查点再多也不怕 表示一阶矩。
3. 整体压缩流程

整体压缩流程如 Algorithm 1 所示，依次进行计算权重残差 / 联合压缩 / 非均匀量化 / 编码压缩等步骤，得到最终的压缩结果。

70倍极致压缩！大模型的检查点再多也不怕

而恢复出检查点完整文件的流程则如 Algorithm 2 所示，进行解压缩之后，首先从非均匀量化后存储的码本和下标中恢复出浮点结果，然后再与基准权重（上一个检查点的原始权重或恢复出的重建权重）相加，得到检查点完整文件。而恢复出整个训练流程中的检查点文件的流程如 Algorithm 3 所示，在完成训练后只保存初始化权重的随机种子和每个检查点存储的压缩结果，然后依次对检查点进行恢复以得到完整的检查点序列，以供从其中选择某个或多个检查点恢复训练 / 进行测试等。
实验结果

文章中不仅对于大语言模型做了评估，在 ViT-L32 这样较大的视觉模型上这一方法也能取得很好的效果。

70倍极致压缩！大模型的检查点再多也不怕

从消融实验里也可以看出，采用残差剪枝的方法大大减少了剪枝带来的损失。

70倍极致压缩！大模型的检查点再多也不怕

文章中还提供了大语言模型压缩前后问答的样例，可以看到压缩本身对于模型的问答能力也没有造成损害。

70倍极致压缩！大模型的检查点再多也不怕

以上就是70倍极致压缩！大模型的检查点再多也不怕的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/791531.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

414.1K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月26日 14:26:38
下一篇 2025年11月26日 14:29:25

相关推荐

  • HTML、CSS 和 JavaScript 中的简单侧边栏菜单 好文分享

    HTML、CSS 和 JavaScript 中的简单侧边栏菜单

    构建一个简单的侧边栏菜单是一个很好的主意，它可以为您的网站添加有价值的功能和令人惊叹的外观。 侧边栏菜单对于客户找到不同项目的方式很有用，而不会让他们觉得自己有太多选择，从而创造了简单性和秩序。 今天，我将分享一个简单的 HTML、CSS 和 JavaScript 源代码来创建一个简单的侧边栏菜单。…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • 前端代码辅助工具：如何选择最可靠的AI工具？ 好文分享

    前端代码辅助工具：如何选择最可靠的AI工具？

    前端代码辅助工具：可靠性探讨 对于前端工程师来说，在HTML、CSS和JavaScript开发中借助AI工具是司空见惯的事情。然而，并非所有工具都能提供同等的可靠性。 个性化需求 关于哪个AI工具最可靠，这个问题没有一刀切的答案。每个人的使用习惯和项目需求各不相同。以下是一些影响选择的重要因素： 立…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 带有 HTML、CSS 和 JavaScript 工具提示的响应式侧边导航栏 好文分享

    带有 HTML、CSS 和 JavaScript 工具提示的响应式侧边导航栏

    响应式侧边导航栏不仅有助于改善网站的导航，还可以解决整齐放置链接的问题，从而增强用户体验。通过使用工具提示，可以让用户了解每个链接的功能，包括设计紧凑的情况。 在本教程中，我将解释使用 html、css、javascript 创建带有工具提示的响应式侧栏导航的完整代码。 对于那些一直想要一个干净、简…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 布局 - CSS 挑战 好文分享

    布局 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在这里查看视觉效果： 固定导航 – 布局 – codesandbox两列 – 布局 – codesandbox三列 – 布局 – codesandbox圣杯 &#8…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 隐藏元素 - CSS 挑战 好文分享

    隐藏元素 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在此处查看隐藏元素的视觉效果 – codesandbox 隐藏元素 hiding elements hiding elements hiding elements hiding elements hiding element…

    程序猿的头像 程序猿
    2025年12月24日
    400

  • 居中 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在此处查看垂直中心 – codesandbox 和水平中心的视觉效果。 通过 css 居中 垂直居中 centering centering centering centering centering centering立即…

    程序猿的头像 程序猿
    2025年12月24日 • 好文分享
    300
  • 如何在 Laravel 框架中轻松集成微信支付和支付宝支付？ 好文分享

    如何在 Laravel 框架中轻松集成微信支付和支付宝支付？

    如何用 laravel 框架集成微信支付和支付宝支付 问题：如何在 laravel 框架中集成微信支付和支付宝支付？ 回答： 建议使用 easywechat 的 laravel 版，easywechat 是一个由腾讯工程师开发的高质量微信开放平台 sdk，已被广泛地应用于许多 laravel 项目中…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何在移动端实现子 div 在父 div 内任意滑动查看？ 好文分享

    如何在移动端实现子 div 在父 div 内任意滑动查看？

    如何在移动端中实现让子 div 在父 div 内任意滑动查看 在移动端开发中，有时我们需要让子 div 在父 div 内任意滑动查看。然而，使用滚动条无法实现负值移动，因此需要采用其他方法。 解决方案： 使用绝对布局（absolute）或相对布局（relative）：将子 div 设置为绝对或相对定…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 移动端嵌套 DIV 中子 DIV 如何水平滑动？ 好文分享

    移动端嵌套 DIV 中子 DIV 如何水平滑动？

    移动端嵌套 DIV 中子 DIV 滑动 在移动端开发中，遇到这样的问题：当子 DIV 的高度小于父 DIV 时，无法在父 DIV 中水平滚动子 DIV。 无限画布 要实现子 DIV 在父 DIV 中任意滑动，需要创建一个无限画布。使用滚动无法达到负值，因此需要使用其他方法。 相对定位 一种方法是将子…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 移动端项目中，如何消除rem字体大小计算带来的CSS扭曲？ 好文分享

    移动端项目中，如何消除rem字体大小计算带来的CSS扭曲？

    移动端项目中消除rem字体大小计算带来的css扭曲 在移动端项目中，使用rem计算根节点字体大小可以实现自适应布局。但是，此方法可能会导致页面打开时出现css扭曲，这是因为页面内容在根节点字体大小赋值后重新渲染造成的。 解决方案： 要避免这种情况，将计算根节点字体大小的js脚本移动到页面的最前面，即…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • Nuxt 移动端项目中 rem 计算导致 CSS 变形，如何解决？ 好文分享

    Nuxt 移动端项目中 rem 计算导致 CSS 变形，如何解决？

    Nuxt 移动端项目中解决 rem 计算导致 CSS 变形 在 Nuxt 移动端项目中使用 rem 计算根节点字体大小时，可能会遇到一个问题：页面内容在字体大小发生变化时会重绘，导致 CSS 变形。 解决方案： 可将计算根节点字体大小的 JS 代码块置于页面最前端的 标签内，确保在其他资源加载之前执…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • Nuxt 移动端项目使用 rem 计算字体大小导致页面变形，如何解决？ 好文分享

    Nuxt 移动端项目使用 rem 计算字体大小导致页面变形，如何解决？

    rem 计算导致移动端页面变形的解决方法 在 nuxt 移动端项目中使用 rem 计算根节点字体大小时，页面会发生内容重绘，导致页面打开时出现样式变形。如何避免这种现象？ 解决方案： 移动根节点字体大小计算代码到页面顶部，即 head 中。 原理： flexível.js 也遇到了类似问题，它的解决…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 形状 - CSS 挑战 好文分享

    形状 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在此处查看 codesandbox 的视觉效果。 通过css绘制各种形状 如何在 css 中绘制正方形、梯形、三角形、异形三角形、扇形、圆形、半圆、固定宽高比、0.5px 线？ shapes 0.5px line .square { w…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 有哪些美观的开源数字大屏驾驶舱框架？ 好文分享

    有哪些美观的开源数字大屏驾驶舱框架？

    开源数字大屏驾驶舱框架推荐 问题：有哪些美观的开源数字大屏驾驶舱框架？ 答案： 资源包 [弗若恩智能大屏驾驶舱开发资源包](https://www.fanruan.com/resource/152) 软件 [弗若恩报表 – 数字大屏可视化组件](https://www.fanruan.c…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 网站底部如何实现飘彩带效果？ 好文分享

    网站底部如何实现飘彩带效果？

    网站底部飘彩带效果的 js 库实现 许多网站都会在特殊节日或活动中添加一些趣味性的视觉效果，例如点击按钮后散发的五彩缤纷的彩带。对于一个特定的网站来说，其飘彩带效果的实现方式可能有以下几个方面： 以 https://dub.sh/ 网站为例，它底部按钮点击后的彩带效果是由 javascript 库实…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何使用 Ant Design 实现自定义的 UI 设计？ 好文分享

    如何使用 Ant Design 实现自定义的 UI 设计？

    如何使用 Ant Design 呈现特定的 UI 设计？ 一位开发者提出： 我希望使用 Ant Design 实现如下图所示的 UI。作为一个前端新手，我不知从何下手。我尝试使用 a-statistic，但没有任何效果。 为此，提出了一种解决方案： 可以使用一个图表库，例如 echarts.apac…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • Antdv 如何实现类似 Echarts 图表的效果？ 好文分享

    Antdv 如何实现类似 Echarts 图表的效果？

    如何使用 antdv 实现图示效果？ 一位前端新手咨询如何使用 antdv 实现如图所示的图示： antdv 怎么实现如图所示？前端小白不知道怎么下手，尝试用了 a-statistic，但没有任何东西出来，也不知道为什么。 针对此问题，回答者提供了解决方案： 可以使用图表库 echarts 实现类似…

    程序猿的头像 程序猿
    2025年12月24日
    300
  • 如何使用 antdv 创建图表？ 好文分享

    如何使用 antdv 创建图表？

    使用 antdv 绘制如所示图表的解决方案 一位初学前端开发的开发者遇到了困难，试图使用 antdv 创建一个特定图表，却遇到了障碍。 问题： 如何使用 antdv 实现如图所示的图表？尝试了 a-statistic 组件，但没有任何效果。 解答： 虽然 a-statistic 组件不能用于创建此类…

    程序猿的头像 程序猿
    2025年12月24日
    200

  • 如何在 Ant Design Vue 中使用 ECharts 创建一个类似于给定图像的圆形图表？

    如何在 ant design vue 中实现圆形图表？ 问题中想要实现类似于给定图像的圆形图表。这位新手尝试了 a-statistic 组件但没有任何效果。 为了实现这样的图表，可以使用 [apache echarts](https://echarts.apache.org/) 库或其他第三方图表库…

    程序猿的头像 程序猿
    好文分享 2025年12月24日
    100

  • 网站彩带效果背后是哪个JS库？

    网站彩带效果背后是哪个js库？ 当你访问某些网站时，点击按钮后，屏幕上会飘出五颜六色的彩带，营造出庆祝的氛围。这些效果是通过使用javascript库实现的。 问题： 哪个javascript库能够实现网站上点击按钮散发彩带的效果？ 答案： 根据给定网站的源代码分析： 可以发现，该网站使用了以下js…

    程序猿的头像 程序猿
    好文分享 2025年12月24日
    100

发表回复

登录后才能评论
关注微信