投稿获客
  1. 创想鸟首页
  2. 科技

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

程序猿 • • 科技 • 阅读 0

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。
近期，大语言模型、文生图模型等大规模 AI 模型迅猛发展。在这种形势下，如何适应瞬息万变的需求，快速适配大模型至各类下游任务，成为了一个重要的挑战。受限于计算资源，传统的全参数微调方法可能会显得力不从心，因此需要探索更高效的微调策略。上述挑战催生了参数高效微调（PEFT）技术在近期的快速发展。
为了全面总结 PEFT 技术的发展历程并及时跟进最新的研究进展，最近，来自美国东北大学、加州大学 Riverside 分校、亚利桑那州立大学和纽约大学研究者们调研、整理并总结了参数高效微调（PEFT）技术在大模型上的应用及其发展前景，并总结为一篇全面且前沿的综述。

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

论文链接：https://arxiv.org/pdf/2403.14608.pdf
PEFT 提供了一个高效的针对预训练模型的下游任务适配手段，其通过固定大部分预训练参数并微调极少数参数，让大模型轻装上阵，迅速适配各种下游任务，让大模型变得不再「巨无霸」。
全文长达 24 页，涵盖了近 250 篇最新文献，刚发布就已经被斯坦福大学、北京大学等机构所引用，并在各平台都有着不小的热度。

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

具体来说，该综述分别从 PEFT 算法分类，高效 PEFT 设计，PEFT 跨领域应用，以及 PEFT 系统设计部署四大层面，对 PEFT 的发展历程及其最新进展进行了全面且细致的阐述。无论是作为相关行业从业者，或是大模型微调领域的初学者，该综述均可以充当一个全面的学习指南。

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

1、PEFT 背景介绍
论文首先以最近大热的 LLaMA 模型作为代表，分析并阐述了大语言模型（LLM）和其他基于 Transformer 的模型的架构和计算流程，并定义了所需的符号表示，以便于在后文分析各类 PEFT 技术。

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

此外，作者还概述了 PEFT 算法的分类方法。作者根据不同的操作将 PEFT 算法划分为加性微调、选择性微调、重参数化微调和混合微调。图三展示了 PEFT 算法的分类及各分类下包含的具体算法名称。各分类的具体定义将在后文详细讲解。

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

在背景部分，作者还介绍了验证 PEFT 方法性能所使用的常见下游基准测试和数据集，便于读者熟悉常见的任务设置。
2、PEFT 方法分类
作者首先给出了加性微调、选择性微调、重参数化微调和混合微调的定义：
加性微调通过在预训练模型的特定位置添加可学习的模块或参数，以最小化适配下游任务时模型的可训练的参数量。
选择性微调在微调过程中只更新模型中的一部分参数，而保持其余参数固定。相较于加性微调，选择性微调无需更改预训练模型的架构。
重参数化微调通过构建预训练模型参数的（低秩的）表示形式用于训练。在推理时，参数将被等价的转化为预训练模型参数结构，以避免引入额外的推理延迟。
这三者的区分如图四所示：

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

可图大模型 可图大模型

可图大模型（Kolors）是快手大模型团队自研打造的文生图AI大模型

可图大模型 32 查看详情 可图大模型

混合微调结合了各类 PEFT 方法的优势，并通过分析不同方法的相似性以构建一个统一的 PEFT 架构，或寻找最优的 PEFT 超参数。
接下来，作者对每个 PEFT 种类进一步细分：
A. 加性微调：
1）Adapter
Adapter 通过在 Transformer 块内添加小型 Adapter 层，实现了参数高效微调。每个 Adapter 层包含一个下投影矩阵、一个激活函数，和一个上投影矩阵。下投影矩阵将输入特征映射到瓶颈维度 r，上投影矩阵将瓶颈特征映射回原始维度 d。

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

图五展示了三种典型的 Adapter 层在模型中的插入策略。Serial Adapter 顺序地插入到 Transformer 模块之后，Parallel Adapter 则并行地插入到 Transformer 模块旁。CoDA 是一种稀疏的 Adapter 方式，对于重要的 token，CoDA 同时利用预训练 Transformer 模块和 Adapter 分支进行推理；而对于不重要的 token，CoDA 则仅使用 Adapter 分支进行推理，以节省计算开销。
2）Soft Prompt
Soft Prompt 通过在输入序列的头部添加可学习的向量，以实现参数高效微调。代表性方法包括 Prefix-tuning 和 Prompt Tuning。Prefix-tuning 通过在每个 Transformer 层的键、值和查询矩阵前面添加可学习的向量，实现对模型表示的微调。Prompt Tuning 仅仅在首个词向量层插入可学习向量，以进一步减少训练参数。
3）Others
除了上述两种分类，还有一些 PEFT 方法同样也是在训练过程引入新的参数。

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

典型的两种方法如图六所示。(IA) 3 引入了三个缩放向量，用于调整键、值以及前馈网络的激活值。SSF 则通过线性变换来调整模型的激活值。在每一步操作之后，SSF 都会添加一个 SSF-ADA 层，以实现激活值的缩放和平移。
B. 选择性微调：
1）非结构化掩码
这类方法通过在模型参数上添加可学习的二值掩码来确定可以微调的参数。许多工作，如 Diff pruning、FishMask 和 LT-SFT 等，都专注于计算掩码的位置。
2）结构化掩码
非结构化掩码对于掩码的形状没有限制，但这就导致了其影响效率低下。因此，一些工作，如 FAR、S-Bitfit、Xattn Tuning 等均对掩码的形状进行了结构化的限制。两者的区别如下图所示：

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

C. 重参数化微调：

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

1）低秩分解
这类方法通过寻找预训练权重矩阵的各种低维度重参数化形式，以代表整个参数空间进行微调。其中最为典型的方法为 LoRA，它通过添加两个额外的上投影和下投影矩阵来构建原始模型参数的低秩表示用于训练。在训练后，额外引入的参数还可以被无缝的合并到预训练权重中，避免引入额外推理开销。DoRA 将权重矩阵解耦为模长和方向，并利用 LoRA 来微调方向矩阵。
2）LoRA 衍生方法
作者将 LoRA 的衍生方法分为了动态选择 LoRA 的秩以及 LoRA 在各方面的提升。
LoRA 动态秩中，典型方法为 DyLoRA，其构造了一系列秩，用于在训练过程中同时训练，从而减少了用于寻找最优秩所耗费的资源。
LoRA 提升中，作者罗列了传统 LoRA 在各个方面的缺陷以及对应的解决方案。
D. 混合微调：
这部分研究如何将不同 PEFT 技术融合进统一模型，并寻找一个最优的设计模式。此外，也介绍了一些采用神经架构搜索（NAS）用以得到最优 PEFT 训练超参数的方案。
3、高效 PEFT 设计

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

这部分，作者探讨了提升 PEFT 效率的研究，重点关注其训练和推理的延迟和峰值内存开销。作者主要通过三个角度来描述如何提升 PEFT 的效率。分别是：
PEFT 剪枝策略：即将神经网络剪枝技术和 PEFT 技术结合，以进一步提升效率。代表工作有 AdapterDrop、SparseAdapter 等。
PEFT 量化策略：即通过降低模型精度来减少模型大小，从而提高计算效率。在与 PEFT 结合时，其主要难点是如何更好的兼顾预训练权重以及新增的 PEFT 模块的量化处理。代表工作有 QLoRA、LoftQ 等。
内存高效的 PEFT 设计：尽管 PEFT 能够在训练过程中只更新少量参数，但是由于需要进行梯度计算和反向传播，其内存占用仍然较大。为了应对这一挑战，一些方法试图通过绕过预训练权重内部的梯度计算来减少内存开销，比如 Side-Tuning 和 LST 等。同时，另一些方法则尝试避免在 LLM 内部进行反向传播，以解决这一问题，例如 HyperTuning、MeZO 等。
4、PEFT 的跨领域应用
在这一章中，作者探讨了 PEFT 在不同领域的应用，并就如何设计更优的 PEFT 方法以提升特定模型或任务的性能进行了讨论。本节主要围绕着各种大型预训练模型展开，包括 LLM、视觉 Transformer（ViT）、视觉文本模型以及扩散模型，并详细描述了 PEFT 在这些预训练模型的下游任务适配中的作用。
在 LLM 方面，作者介绍了如何利用 PEFT 微调 LLM 以接受视觉指令输入，代表性工作如 LLaMA-Adapter。此外，作者还探讨了 PEFT 在 LLM 持续学习中的应用，并提及了如何通过 PEFT 微调 LLM 来扩展其上下文窗口。
针对 ViT，作者分别描述了如何利用 PEFT 技术使其适配下游图像识别任务，以及如何利用 PEFT 赋予 ViT 视频识别能力。
在视觉文本模型方面，作者针对开放集图像分类任务，介绍了许多应用 PEFT 微调视觉文本模型的工作。
对于扩散模型，作者识别了两个常见场景：如何添加除文本外的额外输入，以及如何实现个性化生成，并分别描述了 PEFT 在这两类任务中的应用。
5、PEFT 的系统设计挑战
在这一章中，作者首先描述了基于云服务的 PEFT 系统所面临的挑战。主要包括以下几点：
集中式 PEFT 查询服务：在这种模式下，云服务器存储着单个 LLM 模型副本和多个 PEFT 模块。根据不同 PEFT 查询的任务需求，云服务器会选择相应的 PEFT 模块并将其与 LLM 模型集成。
分布式 PEFT 查询服务：在这种模式下，LLM 模型存储在云服务器上，而 PEFT 权重和数据集存储在用户设备上。用户设备使用 PEFT 方法对 LLM 模型进行微调，然后将微调后的 PEFT 权重和数据集上传到云服务器。

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述多 PEFT 训练：挑战包括如何管理内存梯度和模型权重存储，以及如何设计一个有效的内核来批量训练 PEFT 等。

针对上述系统设计挑战，作者又列举了三个详细的系统设计案例，以更深入的分析这些挑战与其可行的解决策略。
Offsite-Tuning：主要解决微调 LLM 时出现的数据隐私困境以及大量资源消耗的问题。
PetS：提供了一个统一的服务框架，针对 PEFT 模块提供统一的管理和调度机制。

让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述

PEFT 并行训练框架：介绍了两种并行 PEFT 训练框架，包括 S-LoRA 和 Punica，以及他们如何提升 PEFT 的训练效率。
6、未来研究方向
作者认为，尽管 PEFT 技术已经在很多下游任务取得了成功，但仍有一些不足需要在未来的工作中加以解决。
建立统一的评测基准：尽管已存在一些 PEFT 库，但缺乏一个全面的基准来公平比较不同 PEFT 方法的效果和效率。建立一个公认的基准将促进社区内的创新和合作。
增强训练效率：PEFT 在训练过程中，其可训练参数量并不总是与训练过程中的计算和内存节省一致。如高效 PEFT 设计章节所述，未来的研究可以进一步探索优化内存和计算效率的方法。
探索扩展定律：许多 PEFT 技术都是在较小的 Transformer 模型上实现的，而其有效性不一定适用于如今的各种大参数量模型。未来的研究可以探索如何适应大型模型的 PEFT 方法。
服务更多模型和任务：随着更多大型模型的出现，如 Sora、Mamba 等，PEFT 技术可以解锁新的应用场景。未来的研究可以关注为特定模型和任务设计 PEFT 方法。
增强数据隐私：在服务或微调个性化 PEFT 模块时，中心化系统可能面临数据隐私问题。未来的研究可以探索加密协议来保护个人数据和中间训练 / 推理结果。
PEFT 与模型压缩：模型压缩技术如剪枝和量化对 PEFT 方法的影响尚未得到充分研究。未来的研究可以关注压缩后的模型如何适应 PEFT 方法的性能。

以上就是让大模型不再「巨无霸」，这是一份最新的大模型参数高效微调综述的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/420897.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

266.4K 文章
0 评论
1 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月7日 09:15:47
下一篇 2025年11月7日 09:20:07

相关推荐

  • JavaScript动态生成日历式水平日期布局的优化实践

    本教程将指导如何使用javascript高效、正确地动态生成html表格中的日历式水平日期布局。重点解决直接操作`innerhtml`时遇到的标签闭合问题，通过数组构建html字符串来避免浏览器解析错误，并利用事件委托机制优化动态生成元素的事件处理，确保生成结构清晰、功能完善的日期展示。 在前端开发…

    程序猿的头像 程序猿
    2025年12月6日 • web前端
    000

  • Java中char与String的字节表示深度解析

    本文深入探讨java中`char`类型和`string`对象在内存中的字节表示及其与字符编码的关系。`char`固定占用2字节并采用utf-16编码，而`string.getbytes()`方法返回的字节数组长度则取决于所使用的字符集，这正是导致常见混淆的关键。文章将通过示例代码和详细解释，阐明不同…

    程序猿的头像 程序猿
    2025年12月6日 • java
    000

  • vivo X100拍照模糊怎么处理 vivo X100相机优化技巧

    先清洁镜头并检查设置，再清除相机缓存与数据，更新系统并优化性能，最后使用专业模式提升画质，多数拍照模糊问题可解决。 vivo X100拍照模糊，多数情况能通过简单操作解决。先别急着送修，从清洁、设置到系统维护一步步排查，通常都能恢复清晰画质。 检查镜头与基础设置 模糊问题往往出在最容易被忽略的地方。…

    程序猿的头像 程序猿
    2025年12月6日 • 手机教程
    000

  • 如何在mysql中优化GROUP BY分组查询

    答案：优化GROUP BY需创建合适索引（如WHERE与GROUP BY字段的复合索引）、使用ORDER BY NULL避免隐式排序、通过WHERE提前过滤数据、避免在分组字段使用函数、利用覆盖索引减少回表、控制分组结果大小并监控临时表使用，结合EXPLAIN分析执行计划持续优化。 在MySQL中优…

    程序猿的头像 程序猿
    2025年12月6日 • 数据库
    000

  • 如何在mysql中设置最大并发连接

    答案是通过调整max_connections参数设置MySQL最大并发连接数。默认151，可临时用SET GLOBAL命令修改，或在配置文件[mysqld]段落添加max_connections持久生效，修改后需重启服务，并注意内存消耗与系统连接限制。 在 MySQL 中设置最大并发连接数，主要是通…

    程序猿的头像 程序猿
    2025年12月6日 • 数据库
    000

  • qq浏览器纯净版和普通版有什么区别_qq浏览器不同版本功能对比

    QQ浏览器纯净版与普通版的核心区别在于广告、首页布局和功能精简。1、纯净版移除大部分广告，提供更干净的浏览体验；2、默认新标签页为简洁模式，不推送资讯内容；3、精简预装插件，降低内存占用；4、两版本均支持完整的数据同步功能，账号服务无差异。 如果您在选择QQ浏览器时对纯净版与普通版的功能差异感到困惑…

    程序猿的头像 程序猿
    2025年12月6日 • 电脑教程
    000
  • HiDream-I1— 智象未来开源的文生图模型 科技

    HiDream-I1— 智象未来开源的文生图模型

    hidream-i1：一款强大的开源图像生成模型 HiDream-I1是由HiDream.ai团队开发的17亿参数开源图像生成模型，采用MIT许可证，在图像质量和对提示词的理解方面表现卓越。它支持多种风格，包括写实、卡通和艺术风格，广泛应用于艺术创作、商业设计、科研教育以及娱乐媒体等领域。 HiDr…

    程序猿的头像 程序猿
    2025年12月5日
    000
  • ThinkPHP服务容器（Container）与依赖注入 PHP框架

    ThinkPHP服务容器（Container）与依赖注入

    thinkphp的服务容器和依赖注入通过集中管理对象创建和降低对象耦合度，提升了代码的可维护性和灵活性。1.服务容器负责对象的创建和生命周期管理。2.依赖注入通过传递依赖对象，降低了代码耦合度。3.使用时需注意性能、复杂性和学习曲线。4.优化方法包括延迟加载、单例模式和接口实现分离。 在开发过程中，…

    程序猿的头像 程序猿
    2025年12月5日
    000

  • Word提示内存或磁盘空间不足怎么解决 快速解决方法在这

    在使用 word 编辑或保存文件时，有时会弹出令人困扰的提示：“内存或磁盘空间不足，无法完成操作”。特别是当你正在处理内容较多的文档、插入大量图片或使用复杂格式时，这类问题更容易出现。那么，这个错误背后的真正原因是什么？又该如何有效应对？本文将为你深入剖析，并提供切实可行的解决方法。 一、理解错误提…

    程序猿的头像 程序猿
    2025年12月5日 • 电脑教程
    000
  • PHP教程：在条件判断中安全地输出文件内容 后端开发

    PHP教程：在条件判断中安全地输出文件内容

    本教程详细介绍了如何在php中根据特定条件（例如白名单验证）安全地读取并输出文件内容。通过file_get_contents()函数结合__dir__魔术常量，您可以高效地将外部文件的文本或脚本内容作为php响应的一部分，从而实现动态内容交付或增强应用程序的安全性。 PHP作为一种强大的服务器端脚本…

    程序猿的头像 程序猿
    2025年12月5日
    000

  • Java中如何生成XML 详解DOM方式创建XML文档

    使用dom方式创建xml文档的步骤如下：1. 创建documentbuilderfactory对象；2. 创建documentbuilder对象；3. 创建document对象；4. 创建根元素并添加到document对象；5. 创建子元素和文本节点；6. 将元素逐级添加到dom树；7. 使用tra…

    程序猿的头像 程序猿
    2025年12月5日 • java
    000

  • PHP与SQLite数据库交互时如何优化查询的处理方法？

    合理使用索引能显著提升查询速度，但避免频繁更新字段加索引；2. 使用预处理语句减少重复解析开销，提高安全性与效率；3. 控制查询范围避免全表扫描，指定字段并用limit和offset分页；4. 合理使用事务合并写操作，提高批量数据处理效率。在sqlite中优化php查询需从索引设计、预处理、查询控制…

    程序猿的头像 程序猿
    2025年12月5日 • 后端开发
    000

  • Java中XML怎么处理 详解Java DOM和SAX解析XML的方法

    java中处理xml主要有dom和sax两种方法。1.dom一次性加载整个文档到内存，形成树状结构，便于访问和修改，但内存消耗大，适合小文件；2.sax是事件驱动，逐行读取，内存占用小，适合大文件，但操作较复杂。此外还有jaxb、stax和xpath等方法，选择取决于文件大小、操作需求、性能及开发效…

    程序猿的头像 程序猿
    2025年12月5日 • java
    000
  • 谷歌浏览器如何关闭后台运行进程？ 电脑教程

    谷歌浏览器如何关闭后台运行进程？

    一些用户可能会发现，即使关闭了所有谷歌浏览器窗口，其进程依然在系统后台运行，这会持续占用一定的内存和处理器资源。这种情况通常是因为浏览器默认开启了后台应用运行模式，以支持通知和应用的快速启动。本文将指导您如何通过修改浏览器设置来彻底关闭后台运行进程，并介绍如何使用浏览器自带的任务管理器来处理当前运行…

    程序猿的头像 程序猿
    2025年12月5日
    000
  • 为什么谷歌浏览器总是提示“网页无响应”？ 电脑教程

    为什么谷歌浏览器总是提示“网页无响应”？

    当您在浏览网页时，谷歌浏览器弹出“网页无响应”的提示，意味着当前的标签页已经停止响应，无法进行任何操作，这无疑会中断您的工作流程。这个问题通常不是由单一原因引起的，它可能与特定网页的脚本、过多的后台活动、扩展程序冲突或浏览器缓存有关。本文将分析导致此问题的几个主要因素，并提供相应的排查和解决方法，帮…

    程序猿的头像 程序猿
    2025年12月5日
    000
  • 如何在Laravel中优化数据库查询 PHP框架

    如何在Laravel中优化数据库查询

    优化laravel数据库查询的核心在于减少查询次数、优化语句、使用缓存和合理索引。1. 使用eager loading（如with()方法）避免n+1问题，减少查询次数；2. 选择特定列而非select *，降低i/o负担；3. 必要时使用原生查询并绑定参数防止注入；4. 利用缓存（如cache::…

    程序猿的头像 程序猿
    2025年12月5日
    000

  • 如何自动加载类？PSR-4规范详细教程

    psr-4规范通过命名空间与文件路径的映射规则实现了php类的自动加载，终结了传统require带来的维护难题。1. 它强制使用命名空间解决类名冲突；2. 通过命名空间前缀与基目录的映射实现类文件的自动定位；3. 支持按需加载提升性能；4. 成为php社区标准促进生态统一。手动实现的关键包括注册sp…

    程序猿的头像 程序猿
    2025年12月5日 • 后端开发
    000

  • Java中如何转换图片格式 解析不同格式的转换

    java中转换图片格式的核心方法是使用javax.imageio或第三方库如twelvemonkeys imageio进行读取与保存。1. 使用javax.imageio可实现基本的格式转换，例如将png转为jpg；2. twelvemonkeys imageio支持更多格式如webp，并提升性能；…

    程序猿的头像 程序猿
    2025年12月5日 • java
    000

  • js如何检测代码性能 代码性能监控的5种实现方式

    js代码性能检测是找出代码瓶颈并优化以提升网页或应用运行速度的过程。主要方法包括：1. 使用浏览器开发者工具的performance面板分析执行时间线，识别高耗时函数和频繁dom操作；2. 使用console.time()和console.timeend()快速定位特定代码段的执行时间；3. 利用c…

    程序猿的头像 程序猿
    2025年12月5日 • web前端
    000

  • Excel如何导出？PhpSpreadsheet教程

    phpspreadsheet处理大量数据导出时的优化策略包括：1. 调整php内存限制，如设置memory_limit为512m或更高；2. 使用xlsx写入器的流式写入模式，通过setusediskcaching(true)结合settempdir()减少内存占用；3. 分批处理数据，从数据库分批…

    程序猿的头像 程序猿
    2025年12月5日 • 后端开发
    100

发表回复

登录后才能评论
关注微信