投稿获客
  1. 创想鸟首页
  2. 用户投稿

LoRA、完全微调到底有何不同？MIT 21页论文讲明白了

程序猿 • • 用户投稿 • 阅读 5

本文旨在了解两种微调大型语言模型方法之间的差异：完全微调和低秩自适应 (lora)。这两种方法都用于将预训练模型适应特定的下游任务，但它们却有所不同。

有道小P 有道小P

有道小P，新一代AI全科学习助手，在学习中遇到任何问题都可以问我。

有道小P 64 查看详情 有道小P

微调（Fine-tuning）是将经过预训练的大语言模型应用于下游任务的关键范例。最近，低秩自适应 (LoRA) 等方法已被证明可以在各种任务上达到完全微调模型的性能，同时可训练参数的数量却大大减少。
这就提出一个问题，即它们学到的解决方案真的等效吗？
带着这一疑问，来自 MIT 的研究者在论文《 LORA VS FULL FINE-TUNING: AN ILLUSION OF EQUIVALENCE 》中进行了深入探讨。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

LoRA、完全微调到底有何不同？MIT 21页论文讲明白了

论文地址：https://arxiv.org/pdf/2410.21228v1
作者通过分析预训练模型权重矩阵的光谱特性来研究不同的微调方法如何改变模型。
研究发现，完全微调与 LoRA 产生的权重矩阵奇异值分解结构有显著不同，并且经过微调后的模型在面对超出适应任务分布的测试时也显示出不同的泛化行为。
特别是，LoRA 训练的权重矩阵中出现了称为「侵入维度（intruder dimensions）」的新的高秩奇异向量，而在完全微调中则不会出现这种情况。
这些结果表明，即使在微调分布上表现相同，但使用 LoRA 和完全微调更新的模型访问参数空间的不同部分。
作者通过研究 LoRA 微调模型中出现侵入维度的原因、它们为什么不受欢迎，以及如何最小化这些效果来展开研究。
最后，作者给出了以下几点观察：
首先，LoRA 和完全微调在结构上产生不同的参数更新，这种差异由侵入维度的存在产生的。这些侵入维度是奇异向量，具有较大的奇异值，并且与预训练权重矩阵中的奇异向量近似正交。相比之下，完全微调模型在光谱上与预训练模型保持相似，不包含侵入维度。
其次， 从行为上看，与完全微调相比，具有侵入维度的 LoRA 微调模型会忘记更多的预训练分布，并且表现出较差的稳健连续学习能力：具有侵入维度的 LoRA 微调模型在适应任务分布之外不如完全微调模型，尽管分布准确度相当。
最后， 即使在目标任务上低秩 LoRA 表现良好，但更高秩的参数化可能仍然是可取的。低秩 LoRA（r ≤ 8）适合下游任务分布，完全微调和高秩 LoRA（r = 64）让模型泛化能力更强、自适应能力更加鲁棒。然而，为了利用更高的秩，LoRA 更新模型必须是秩稳定的。
沃顿商学院副教授 Ethan Mollick 对此评论道：事实证明，使用 LoRA 定制通用 LLM（Apple 调优其设备内置模型的方式），对 LLM 的限制远大于微调，因为它们失去了一些泛化能力。原因是 LoRA 增加了不祥的侵入维度。
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
LORA 和完全微调模型的差异
本文采用神经网络参数的奇异值分解 SVD 来理解微调对预训练权值的变化。
特别是，本文测量了用 LoRA 微调过的权重矩阵中的奇异向量或完全微调过的权重矩阵中奇异向量映射到预训练权重中的奇异向量的程度，使用它们的余弦相似性。这些关系如图 1 和图 3 所示，颜色表示预训练和微调奇异向量之间的余弦相似度。
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
图 2 (b) 中观察到，LoRA 和完全微调的奇异向量与预训练奇异向量的相似度非常不同：与完全微调相比，使用 LoRA 微调的模型的奇异向量与预训练奇异向量的平均余弦相似度似乎要低得多。
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
图 2 (b) 中左下角有一个唯一的红点，作者将这些新维度命名为侵入维度，其正式定义如下：
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
LoRA 微调模型包含高秩侵入维度，而完全微调的模型则不包含。为了量化特定权重矩阵的侵入维度集的大小，作者使用图 4 所示的算法。
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
即使在 LoRA 微调模型学习效果不如完全微调的任务中，侵入维度也存在。
观察图 5b、5c 和 5d，我们可以清楚地看到，即使 LoRA 的 r=256，高秩奇异向量集中仍出现侵入维度。重要的是，当 r=2048 时没有侵入维度，而是展示了与完全微调非常相似的曲线。这支持了早先的发现：随着秩增加超过一个阈值，侵入维度会消失，LoRA 开始趋向于与完全微调相似。 
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
即使使用满秩矩阵执行 LoRA，完全微调更新也比 LoRA 更新具有更高的有效秩。如图 6 所示，可以观察到完全微调解决方案的有效秩明显高于通过 LoRA 学习到的解决方案的有效秩，即使 LoRA 具有更高的秩。
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
LORA 和完全微调之间的行为差异
在较低秩，LoRA 在持续学习过程中的适应能力较差，会忘记更多之前的任务。该研究在多个任务上按顺序训练 RoBERTa，并测量学习新任务时性能的变化程度。
该研究使用与之前相同的训练方案、数据集，但在持续学习环境中使用以下数据集（按顺序）进行微调：MNLI、QQP、SST-2、SIQA、Winogrande、FEVER。在序列中某个数据集上进行训练后，将 LoRA 权重合并到模型中，并在下一个任务训练之前重新初始化，以便不受之前任务的影响。
在对特定任务进行训练后，该研究对所有任务进行测试，对于每个任务，在测试测试集之前分别重新训练分类头。这能够检查模型在这些任务上表现如何，而无需实际更改模型本身。
结果如图 8 所示。虽然 LoRA 最初与完全微调的性能相当，但较小的 LoRA 秩在持续学习过程中始终表现出更大的性能下降。特别是，对于前三个训练数据集，当 r = 1 时 LoRA 的性能下降到预训练基线以下。随着 LoRA 秩的提高，我们可以看到这种遗忘行为减少，并且更接近于完全微调，甚至在完成持续学习后在 MNLI 上的遗忘也更少。
整体情况是微妙的：虽然在某些情况下，LoRA 似乎忘记得较少，但对于某些任务（以及某些秩）事实上，LoRA 可能会忘记更多。
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
对于微调到等效测试精度的 LoRA 模型，可以看到一条 U 形曲线，该曲线标识了适合下游任务的最佳等级，同时最小程度的忘记了预训练分布。
图 9 报告了测量的伪损失分数。可以看到完全微调和 r = 768 时的 LoRA 之间呈现 U 形趋势。
相对于完全微调，低秩（r = 1）和高秩（r = 768）都会导致预训练分布的遗忘更大，而对于 r = 64，遗忘较少。也就是说：当 r = 1 时，使用 LoRA 微调的模型受到侵入维度的影响，并且似乎比没有侵入维度的 r = 64 有更多的遗忘。然而，当 r = 768 时，使用 LoRA 微调的模型也表现出更糟糕的遗忘，这表明由于过度参数化，它们对适应任务过度拟合。当 r = 8 和 r = 64 时，遗忘量少于完全微调。
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
了解更多内容，请参考原论文。

以上就是LoRA、完全微调到底有何不同？MIT 21页论文讲明白了的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/411912.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

414.1K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
java主方法中怎么调用数组
上一篇 2025年11月6日 23:39:25
介绍Mysql中存储引擎和体系结构教程
下一篇 2025年11月6日 23:39:27

相关推荐

  • 理解编程指令：当结果正确，但实现方式不符要求时 用户投稿

    理解编程指令：当结果正确，但实现方式不符要求时

    本文探讨了在编程实践中，即使程序输出了正确的结果，但若其实现方式未能严格遵循既定指令，仍可能被视为“不正确”的问题。我们将通过具体示例，对比直接求和与累加求和两种实现策略，强调理解和遵守编程规范的重要性，以确保代码的健壮性、可维护性及符合项目要求。 在软件开发过程中，我们经常会遇到这样的情况：编写的…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • Discord.py 交互按钮超时与持久化解决方案 用户投稿

    Discord.py 交互按钮超时与持久化解决方案

    本教程旨在解决Discord.py中交互按钮在一段时间后出现“This Interaction Failed”错误的问题。我们将深入探讨视图（View）的超时机制，并提供通过正确设置timeout参数以及利用bot.add_view()方法实现按钮持久化的具体方案，确保您的机器人交互功能稳定可靠，即…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • JS如何实现迭代器？迭代器协议 用户投稿

    JS如何实现迭代器？迭代器协议

    JavaScript中实现迭代器需遵循可迭代协议和迭代器协议，通过定义[Symbol.iterator]方法返回具备next()方法的迭代器对象，从而支持for…of和展开运算符；该机制统一了数据结构的遍历接口，实现惰性求值，适用于自定义对象、树、图及无限序列等复杂场景，提升代码通用性与…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • Golang使用Protobuf定义接口与消息格式 用户投稿

    Golang使用Protobuf定义接口与消息格式

    Protobuf通过字段编号实现兼容性，新增字段可忽略、删除字段可保留编号，确保新旧版本互操作，支持服务独立演进。 在Golang项目中，利用Protobuf定义接口和消息格式，本质上是为服务间通信构建了一套高效、类型安全且跨语言的契约。它让数据结构清晰可见，RPC调用标准化，极大地简化了分布式系统…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • HTML文档的基本结构是什么？ 3分钟带你了解HTML文档基础框架 用户投稿

    HTML文档的基本结构是什么？ 3分钟带你了解HTML文档基础框架

    html文档的基础结构由四部分组成：1. 声明，用于告知浏览器以html5标准模式解析页面，避免怪异模式导致的兼容性问题；2. 根元素，包裹整个文档内容，并可通过lang属性指定语言；3. 头部区域，包含元数据如设置字符编码、实现响应式布局、定义页面标题、引入css和favicon、加载脚本等；4.…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • Android和iOS系统下，HTML+JS代码运行结果差异：为什么input宽度为0时，Android输入方向异常？ 用户投稿

    Android和iOS系统下，HTML+JS代码运行结果差异：为什么input宽度为0时，Android输入方向异常？

    Android和iOS系统HTML+JS代码运行差异分析：input宽度为0引发的Android输入方向异常 开发OTP输入组件时，我们发现一个有趣的现象：当input元素的宽度设置为0 (style=”width: 0;”)时，Android系统下的输入方向会异常，而iOS系统则正常工作。 移除w…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • JavaScript设计原则_JavaScript可维护代码 用户投稿

    JavaScript设计原则_JavaScript可维护代码

    每个函数应只做一件事，如拆分数据处理与DOM操作，命名体现功能（如formatDate），长度控制在20行内；2. 使用清晰命名（如currentUser、isValid）减少注释依赖，关键逻辑注明“为什么”；3. 按功能模块化组织代码，如api.js处理请求，utils.js存放工具函数，使用im…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • C++如何编译和链接_C++从源码到可执行文件的过程解析 用户投稿

    C++如何编译和链接_C++从源码到可执行文件的过程解析

    c++kquote>预处理展开宏和头文件，编译生成汇编代码，汇编转为机器码，链接合并目标文件与库生成可执行程序。 当你写完一段C++代码，比如一个简单的hello world程序，最终能运行起来，背后其实经历了一系列步骤：预处理、编译、汇编和链接。这个过程将人类可读的源码转换成机器可以执行的程…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • Python继承中父类属性的初始化与访问策略 用户投稿

    Python继承中父类属性的初始化与访问策略

    本文深入探讨python面向对象编程中，子类如何正确初始化和访问父类属性。重点分析`super().__init__()`的工作原理，解释在继承链中参数传递的重要性，并提供通过子类构造函数传递参数的解决方案。此外，针对子类需要与特定父类实例交互的场景，文章还介绍了组合（composition）模式的…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • javascript生命周期钩子是什么_组件有哪些关键阶段？ 用户投稿

    javascript生命周期钩子是什么_组件有哪些关键阶段？

    JavaScript原生无生命周期钩子，这是Vue、React等框架为组件设计的机制；Vue按创建、挂载、更新、卸载四阶段提供对应钩子，React类组件有明确生命周期方法，函数组件则通过useEffect模拟，其核心价值在于精准控制执行时机以避免DOM操作错误和内存泄漏。 JavaScript 本身…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • 解决PHP foreach循环中变量“继承”问题：理解与避免意外数据泄露 用户投稿

    解决PHP foreach循环中变量“继承”问题：理解与避免意外数据泄露

    本文探讨PHP foreach循环中一个常见的陷阱：当循环内部的数组或变量未被显式初始化时，其值可能会“继承”自上一次循环迭代，导致意外的数据泄露和逻辑错误。文章将深入分析这一现象的根源，并通过示例代码展示如何通过在每次迭代开始时正确初始化变量来解决此问题，确保代码行为的预期一致性。 引言：fore…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • 为什么专注如此重要？ 用户投稿

    为什么专注如此重要？

    在快节奏的数字时代，程序员能否保持专注直接影响着代码质量、项目进度和错误率。 高效专注，才能在开发过程中游刃有余。本文将分享一些实用技巧，助您提升编程专注力，高效完成任务。 专注力为何如此重要？ 专注力是程序员的核心竞争力。编码需要高度集中，处理细节、逻辑和问题，稍一分神就可能导致错误百出，返工耗时…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • JavaScript中逻辑AND运算符的语法陷阱解析 用户投稿

    JavaScript中逻辑AND运算符的语法陷阱解析

    本文深入探讨了javascript中逻辑and (`&&`) 运算符在特定场景下引发语法错误的原因。通过对比 `1 && {}` 和 `{} && 1` 两种表达式，揭示了javascript解析器对对象字面量 `{}` 的不同解释机制，特别是当 `{…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • Go语言：检查预编译库的构建版本与平台信息 用户投稿

    Go语言：检查预编译库的构建版本与平台信息

    本文详细介绍了如何利用go语言内置的`go tool pack`工具，从预编译的go静态库（`.a`文件）中提取其构建信息，包括go编译器版本、操作系统和cpu架构。当`go build`因库版本不匹配而失败时，此方法能帮助开发者准确诊断问题，确保构建环境与库的兼容性。 在Go语言的开发实践中，我们…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • JavaScript中实时获取表单输入值：避免常见陷阱 用户投稿

    JavaScript中实时获取表单输入值：避免常见陷阱

    本教程深入探讨在javascript中如何正确地实时获取html表单输入框的值。许多开发者在初次尝试时可能遇到`alert`函数无法显示最新输入内容的问题，这通常是由于变量作用域和代码执行时机不当所致。文章将通过对比错误与正确的代码示例，详细解释其背后的原理，并提供最佳实践，确保您能够准确捕获用户在…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • 如何理解C++中指针的类型决定了它如何解释内存 用户投稿

    如何理解C++中指针的类型决定了它如何解释内存

    指针的类型决定内存解释方式，包括读取字节数和算术运算步长。例如int读4字节，char读1字节，且p++按类型大小移动地址，确保数组正确遍历，编译器依类型生成访问指令，类型不同则数据解释结果不同，故指针类型至关重要。 在C++中，指针的类型决定了它如何解释所指向的内存，这主要体现在两个方面：一是每次…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 掌握 ESeatures：JavaScript 中的 let、const 和类 用户投稿

    掌握 ESeatures：JavaScript 中的 let、const 和类

    深入理解ES6特性：let、const与类 ECMAScript 2015 (ES6) 引入了一系列强大的特性，彻底革新了JavaScript开发。其中，let、const和class关键字对于编写现代化、简洁高效的JavaScript代码至关重要。 1. let关键字 let用于声明具有块级作用域…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 使用 populateDropdown 简化您的下拉菜单管理 用户投稿

    使用 populateDropdown 简化您的下拉菜单管理

    让我们开始吧！假设您正在构建一个动态 web 应用程序，常见任务之一是根据各种数据源填充下拉菜单。如果没有简化的方法，您会发现自己编写重复且容易出错的代码，这对于维护来说可能是一场噩梦。这时，一个简单而强大的函数（如 populatedropdown）可以发挥作用。它消除了麻烦，让您的生活变得更加轻…

    程序猿的头像 程序猿
    2026年5月10日
    000

  • BOM中如何检测用户的剪贴板内容？

    BOM中如何检测用户的剪贴板内容？BOM中如何检测用户的剪贴板内容？BOM中如何检测用户的剪贴板内容？BOM中如何检测用户的剪贴板内容？

    浏览器直接访问剪贴板内容受限的原因是为了保护用户隐私和安全，防止恶意网站窃取敏感信息。解决方案包括：1. 监听 cut 和 copy 事件以获取用户选中的文本；2. 使用需用户授权的异步剪贴板 api 读取内容；3. 对于不支持异步 api 的浏览器，可使用过时但兼容的 document.execc…

    程序猿的头像 程序猿
    2026年5月10日 • 用户投稿
    000
  • JavaScript解释器_javascript代码执行 用户投稿

    JavaScript解释器_javascript代码执行

    JavaScript通过引擎解析执行，先语法分析生成AST，再编译为字节码或机器码，最后执行；执行时创建上下文并入栈，同步代码直接运行，异步任务由API处理后回调入队，事件循环在调用栈空时将回调推入执行；此机制解释了变量提升、暂时性死区及宏任务与微任务执行顺序差异。 JavaScript代码的执行依…

    程序猿的头像 程序猿
    2026年5月10日
    000

发表回复

登录后才能评论
关注微信