Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $YECBGYFECGEAFWHA as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2

Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $BBWFDDBHHYHDXXAB as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba_创想鸟

北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

北大林宙辰团队全新混合序列建模架构mixcon:性能远超mamba

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

序列猴子开放平台 序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

序列猴子开放平台 0 查看详情 序列猴子开放平台

在自然语言处理、语音识别和时间序列分析等众多领域中,序列建模是一项至关重要的任务。然而,现有的模型在捕捉长程依赖关系和高效建模序列方面仍面临诸多挑战。
因此,北京大学林宙辰、徐鑫提出了一种全新混合序列建模架构 ——MixCon,它为解决这些难题带来了创新性的方案。经实验验证,其性能远超 Mixtral、Mamba 和 Jamba。论文已在 European Conference on Artificial Intelligence (ECAI) 2024 上发表。
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
论文标题:MixCon: A Hybrid Architecture for Efficient and Adaptive Sequence Modeling
论文地址:https://zhouchenlin.github.io/Publications/2024-ECAI-MixCon.pdf
一、现有序列建模模型的困境
线性注意力 Transformer
线性注意力 Transformer 旨在通过近似注意力机制来提高原始 Transformer 模型的效率,将计算复杂度从北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba降低到北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba,但在处理长序列时可能会面临性能下降和计算开销增加的问题。
例如,早期利用局部敏感哈希方案虽降低复杂度,但引入大常数因子;近期通过改变计算顺序等方法近似 Softmax 函数,但仍存在性能不如 Softmax 注意力且可能增加额外开销的情况。
线性 RNN 模型
线性 RNN 模型如 Mamba 等通过将序列表示为状态空间并利用扫描操作,以线性时间复杂度提供了序列建模的新解决方案。
然而,它们可能缺乏复杂序列建模任务所需的适应性和动态特性,并且像传统序列模型一样,缺少反馈机制和自适应控制。
MoE 模型
MoE 模型通过结合专家模块,能有效处理长序列并保持计算效率,根据输入数据自适应选择专家模块。
但 MoE 模型的专家模块稀疏激活可能导致训练稳定性问题,部分参数不常使用降低参数效率,在处理长序列时可能在计算效率和训练稳定性方面面临挑战,且对动态变化适应性不足。
二、MixCon 的核心架构与技术
Conba 模型架构
1. 状态空间方程
Conba 将序列建模任务表示为状态空间系统,状态空间定义为北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba,其中北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba分别为时间步北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba的状态、输入和输出,北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba是非线性函数,可由神经网络近似。
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba,其中北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba是可学习参数矩阵。北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba是可学习参数矩阵。
为处理长序列,Conba 采用选择性状态空间机制北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba,以及引入延迟状态北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba和动态状态缩放机制北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
最后状态空间系统表示为北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba来捕捉长程依赖和适应序列动态变化。
2. 自适应控制机制
设计目标是最小化实际输出北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba和期望输出北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba之间的跟踪误差北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
控制增益矩阵北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba通过北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba更新,其中北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba是跟踪误差向量北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba的 2 范数,北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba是学习率。
3. 实施细节
神经网络近似:
利用 MLP 近似状态转移函数北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba的非线性部分和观察函数北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba,通过端到端训练确定最佳参数。
选择性状态空间函数北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba用 SwiGLU(基于 Swish 和 GLU 的混合激活函数)近似,其公式为北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
进一步扩展和增强稳健性:引入过程噪声北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba和观察噪声北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba, 北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba,增强模型对扰动的适应性。
4. 模型架构图如下所示:
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
MixCon 模型架构
MixCon 是结合注意力机制的 Transformer 层、Conba 层和 MoE 组件的创新混合解码器架构。
在内存使用方面,通过平衡注意力和 Conba 层,相比 Mamba 可将 KV 缓存减少 32 倍。例如,在 256K 令牌上下文环境中,MixCon 仍能保持较小的 KV 缓存优势(如表 1 所示)。
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
在吞吐量方面,处理长序列时,Conba 层计算效率更高,增加其比例可提高整体吞吐量。
基本配置单位是 MixCon 块,由 Conba 或注意力层组合而成,每个层包含注意力模块或 Conba 模块,后接 MLP 或 MoE 层。MixCon 中的 MLP 层被 MoE 层替换,以增加模型容量同时保持较低计算负载。
对于 Conba 层实施,采用 RMSNorm 等技术,模型词汇量为 256K,使用 BPE 进行训练,每个数字为单独令牌。
模型架构图如下所示:
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
三、MixCon 的实验与评估
实施细节
选择特定配置适应单块 80GB A800 NVIDIA GPU 的计算能力,实现质量和吞吐量的优化。
序列由 4 个 MixCon 块组成,每个 MixCon 块含 8 层 L = 8,注意力层和 Conba 层比例为 2:6 (a:c = 2:6),每隔一层 (e = 2) 用 MoE 替换 MLP 模块,模型有 16 个专家 (n = 16),每个令牌使用 2 个顶级专家 (K = 2)。
上下文长度分析
MixCon 在单块 80GB A800 GPU 上的最大上下文长度是 Jamba 的两倍、Mixtral 的四倍、Llama – 2 – 70B 的十四倍(如图 3 所示)。
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
吞吐量分析
1. 配置一:考虑不同批大小,在单块 A800 80GB GPU(int8 量化)、8K 上下文长度下生成 512 个输出令牌,MixCon 吞吐量是 Mixtral 的三倍、Jamba 的两倍(如图 4 所示)。
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
2. 配置二:单批次(批大小 = 1)、四块 A800 GPUs(无量化)、不同上下文长度下生成 512 个输出令牌,处理 128K 令牌时,MixCon 吞吐量是 Jamba 的 1.5 倍、Mixtral 的 4.5 倍(如图 5 所示)。
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
数据集评估
本文在一系列标准学术基准测试中评估 Conba 性能,包括常识推理任务(如 HellaSwag、WinoGrande、ARC – E、ARC – Challenge)、阅读理解任务(如 BoolQ、QuAC)、聚合基准测试(如 MMLU、BBH),采用不同的学习策略。
MixCon 性能与类似或更大规模的先进公开模型相当或更优,尽管总参数比 Llama – 2 少,但作为稀疏模型,其活跃参数仅 5B,处理长序列时 KV 缓存仅需 2GB,而 Mixtral 需 32GB(如表 2 所示)。
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
消融实验
展示注意力和 Conba 层结合的优势及最佳比例和交织技术。纯 Conba 模型在上下文学习有困难,Attention – Conba 混合模型有类似纯 Transformer 模型的上下文学习能力。
以 HellaSwag(10 – shot)、WinoGrande(5 – shot)、Natural Questions(NQ,5 – shot)为指标,MixCon 表现稳健(如表 3 所示),MixCon(无 MoE)训练过程损失更低(如图 6 所示)。
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
长上下文评估
利用问答基准测试评估 MixCon 处理长上下文能力,使用 L – Eval 中最长上下文数据集的五个数据集,以少样本格式(每个实验用三个例子)进行实验。
在 NarrativeQA、LongFQA、Natural Questions(NQ)、CUAD 等数据集上评估,MixCon 在多数数据集上优于 Mixtral 和 Jamba,平均性能优越,且在长上下文任务中具有更好的吞吐量(如表 4 所示)。
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
结合注意力和 Conba 的优势及混合专家的影响
1. 注意力和 Conba 比例研究
用 13 亿参数模型在 2500 亿令牌上训练,MixCon 性能优于纯注意力或纯 Mamba,注意力和 Conba 层比例为 2:6 或 1:7 时性能差异小(如表 5 所示)。
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
2. 混合专家的影响
当在 MixCon 架构的大规模情境(5B 参数,在 50B 令牌上训练)中应用 MoE 技术时,性能有显著提升(如表 6 所示)。
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
四、MixCon 的优势与展望
MixCon 作为创新的混合序列建模架构,通过整合多种技术,在处理复杂动态序列时具有高效的计算效率,在各项任务中展现出显著优势,能高效处理长序列、内存使用低且吞吐量高,具有高可扩展性和实用性。然而,它仍有改进空间,如进一步优化状态空间表示、长序列的自适应控制、特定领域微调以及训练算法等。
总体而言,MixCon 为序列建模提供了新的解决方案,在复杂序列处理方面表现出色,为 NLP 及其他领域的应用开辟了新道路。未来,我们期待它在更多领域发挥更大的作用,为技术发展带来更多的突破和创新。

以上就是北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/416314.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
java数组中怎么删除元素
上一篇 2025年11月7日 01:28:01
展望未来,手机行业的发展有何趋势?
下一篇 2025年11月7日 01:28:10

相关推荐

  • 常见分布式任务调度工具浅析

    一、背景 在日常业务中,经常会遇到需要在特定时间执行任务或周期性执行任务的需求。这些任务通常被归类为定时任务。为了满足这种需求,各种任务调度框架应运而生,如Timer、ScheduledThreadPoolExecutor(没错,它也可以用于定时任务)、Quartz等。然而,随着分布式和微服务的发展…

    2026年9月22日
    100
  • VSCode安全更新机制解析

    VSCode通过自动检查、数字签名验证和用户可控策略确保更新安全。启动时后台定期HTTPS请求检查新版本,每日一次;安装包经平台特定签名(Windows Authenticode、macOS代码签名、Linux GPG)验证完整性;用户可选自动更新、提示或关闭,企业可集中管控;微软通过安全入口响应漏…

    2026年9月22日
    000
  • Linux系统中文件属性和权限实战操作

    Linux系统中文件属性和权限实战操作Linux系统中文件属性和权限实战操作Linux系统中文件属性和权限实战操作Linux系统中文件属性和权限实战操作

    —–原本今天的文章是昨天晚上就要更新的,但是由于昨天晚上下班回到住的地方,发现停电了,所以就没写成。今天是在上一篇文章–linux系统中文件类型的基础上,继续进行深入的学习。好了,直接开干。 一、文件的操作权限: 1、在这之前我想还是很有必要介绍对文件的操作权限(…

    2026年9月22日 用户投稿
    000
  • PHP中为数组元素设置默认值的最佳实践:使用Null合并运算符

    本教程将介绍如何在PHP中为数组元素设置默认值,尤其当源数据可能为空或缺失时。通过利用PHP 7+提供的Null合并运算符(??),可以简洁高效地实现这一需求,避免冗长的条件判断,提高代码可读性和健壮性。 引言:处理缺失或空值时的数组赋值 在Web开发中,我们经常需要从用户请求、数据库查询或其他外部…

    2026年9月22日
    000
  • Laravel 8 登录后重定向至仪表盘的策略与实践

    本教程详细阐述了在 Laravel 8 中实现用户登录后重定向到仪表盘的多种策略。我们将探讨如何通过配置 LoginController 的 $redirectTo 属性、利用 RouteServiceProvider 定义常量以及在自定义登录方法中进行精确控制来管理重定向流程。文章还涵盖了相关中间…

    2026年9月22日
    000
  • Grok官方网站直达页_Grok官网官方网页版入口

    Grok官网官方网页版入口为https://grok.com,用户可通过该网站访问网页端服务,支持跨设备同步;同时可下载移动应用或在X平台内使用Grok功能。未订阅用户可体验基础功能,Premium及Premium+需通过X平台订阅,SuperGrok则仅在官网提供,具备更强数据处理能力。账户升级后…

    2026年9月22日
    600
  • VSCode配置C语言调试环境 从零开始VSCode搭建C开发工具

    要从零开始在#%#$#%@%@%$#%$#%#%#$%@_e2fc++805085e25c9761616c00e065bfe8中搭建c语言开发和调试环境,首先需安装vscode本体、c/c++编译器(如mingw或gcc)并配置系统环境变量,接着安装vscode的c/c++扩展,然后创建项目并编写c…

    2026年9月22日
    000
  • GIMP中如何利用AI裁剪图片?一步步完成高效图像裁剪方法

    GIMP虽无“一键AI裁剪”功能,但可通过智能选择工具(如前景选择、智能剪刀)精准选中主体,结合Resynthesizer插件的内容感知填充实现类AI裁剪效果;对于更高要求,可协同Remove.bg等外部AI工具完成自动抠图,再导入GIMP进行裁剪或背景替换,形成高效智能裁剪工作流。 ☞☞☞AI 智…

    2026年9月22日
    100
  • Vision Transformer 必读系列之图像分类综述(三): MLP、ConvMixer 和架构分析

    Vision Transformer 必读系列之图像分类综述(三): MLP、ConvMixer 和架构分析Vision Transformer 必读系列之图像分类综述(三): MLP、ConvMixer 和架构分析Vision Transformer 必读系列之图像分类综述(三): MLP、ConvMixer 和架构分析Vision Transformer 必读系列之图像分类综述(三): MLP、ConvMixer 和架构分析

    号外号外!awesome-vit 上新啦, 欢迎大家 Star Star Star ~ https://github.com/open-mmlab/awesome-vit 前言 在 Vision Transformer 必读系列之图像分类综述(一):概述 一文中对 Vision Transforme…

    2026年9月22日 用户投稿
    200
  • Cortana如何连接邮箱_Cortana邮箱同步配置方法

    首先需将邮箱账户与Cortana连接,可通过Windows设置添加账户或在Cortana应用内手动配置,支持Outlook.com、Gmail及Exchange等类型;完成账户添加后,须在隐私权限中启用邮件读取和同步权限,确保Cortana可访问邮件、日历及联系人数据,从而实现智能提醒与信息同步功能…

    2026年9月22日
    000
  • VSCode如何安装和使用插件 VSCode插件管理的高效方法

    安装插件需通过vscode扩展视图搜索并点击安装,部分插件需重启或配置后生效;2. 使用插件时可通过命令面板、上下文菜单、状态栏或自动语言特性调用功能,并在设置中自定义行为;3. 高效管理应定期审视插件使用频率,禁用或卸载不常用者,关注性能影响,利用“开发者: 显示正在运行的扩展”识别资源占用高的插…

    2026年9月22日
    200
  • 使用Java Selenium验证表格数据排序:金额列的升序与降序检查

    本教程详细介绍了如何利用Java Selenium WebDriver验证网页表格中金额列的排序功能。文章涵盖了从环境配置、登录应用到数据提取、清洗、数值转换,再到实现表格数据(特别是金额数据)的升序或降序验证的完整流程。通过示例代码,演示了如何获取页面元素、处理文本数据,并使用JUnit进行断言,…

    2026年9月22日
    100
  • VSCode安装C/C++代码格式化 专业VSCode开发环境配置

    配置VSCode进行C/C++开发需安装C/C++扩展包和clang-format,设置自动格式化与调试环境,推荐使用CMake Tools、Include Autocomplete等扩展,结合快捷键、代码片段和任务自动化提升效率。 配置VSCode以实现C/C++代码的专业格式化和高效开发环境,核…

    2026年9月22日
    400
  • 苹果手机忘记密码

    确认你的Apple ID与密码情况 首先,确认你是否真的忘记了密码。有时候可能是输错了Apple ID或密码,建议仔细核对。回想一下是否曾修改过密码,并检查与该账户绑定的邮箱、安全提示问题或双重认证设备,这些都有助于找回账户访问权限。 如何重设密码 若确认密码遗失,最有效的解决方式是进行密码重置。请…

    2026年9月22日
    100
  • VSCode如何集成Jai游戏开发环境 VSCode配置高性能游戏编程工作流

    配置#%#$#%@%@%$#%$#%#%#$%@_e2fc++805085e25c9761616c00e065bfe8集成jai游戏开发环境的核心在于正确设置编译器与调试器并利用扩展提升效率,1. 配置settings.json指定jai.compilerpath、builddirectory、in…

    2026年9月22日
    500
  • TensorFlow的AI混合工具怎么操作?构建机器学习模型的详细步骤

    TensorFlow的混合编程核心在于结合Keras的高级抽象与TensorFlow底层API的灵活性,实现高效模型开发。首先使用tf.data构建高性能数据管道,通过map、batch、shuffle和prefetch等操作优化数据预处理;接着利用Keras快速搭建模型结构,同时通过继承tf.ke…

    2026年9月21日
    400
  • VSCode如何自定义文件图标 VSCode资源管理器视觉优化的技巧

    自定义vscode文件图标需安装图标主题扩展,如material icon theme;2. 通过扩展市场安装后,在文件图标主题设置中启用;3. 选择主题时应考虑视觉风格、图标覆盖率、辨识度和更新频率;4. 可结合文件嵌套、隐藏文件夹、缩进指南等设置优化资源管理器视觉体验;5. 自定义图标对性能影响…

    2026年9月21日
    100
  • Online Config VS Code

    Online Config VS CodeOnline Config VS CodeOnline Config VS CodeOnline Config VS Code

    run vs view Install Code Server Update Code Server Database:It is recommended to create a Docker container for the database. Code Language: JavaScript…

    2026年9月21日 用户投稿
    100
  • 在Java中如何实现对象的唯一标识

    答案:Java中实现对象唯一标识主要有四种方式:1. 使用UUID生成全局唯一ID,适用于无数据库或分布式场景;2. 利用数据库自增主键,通过JPA的@Id和@GeneratedValue实现持久化唯一性;3. 重写equals与hashCode方法,基于不可变业务字段保证逻辑唯一;4. 采用Sno…

    2026年9月21日
    100
  • VSCode怎么手动保存代码_VSCode禁用自动保存与手动保存设置教程

    手动保存代码只需按Ctrl + S(Windows/Linux)或Cmd + S(macOS),可通过设置将“files.autoSave”设为“off”来禁用自动保存,并结合版本控制保障代码安全。 VSCode手动保存代码其实很简单,默认情况下,按下 Ctrl + S (Windows/Linux…

    2026年9月21日
    300

发表回复

登录后才能评论
关注微信