蚂蚁百灵大模型团队近日正式开源了高效推理模型 ring-mini-sparse-2.0-exp，该模型基于全新设计的 ling 2.0 架构，专为长序列解码任务优化，创新性地结合了高稀疏度的 mixture of expert（moe）结构与稀疏注意力机制。
据团队介绍，通过架构与推理系统的深度协同优化，该模型在处理复杂长序列推理任务时，吞吐量相较原始版本 Ring-mini-2.0 提升近 3 倍。同时，在多个高难度推理基准测试中持续保持领先水平（SOTA），为开源社区提供了一种兼具高性能推理效率和强大上下文理解能力的轻量级解决方案。
Ling 2.0 Sparse 架构的提出，旨在应对大语言模型发展的两大关键趋势：上下文长度扩展（Context Length Scaling）与测试时扩展（Test Time Scaling）。该机制通过高效的稀疏注意力设计，显著提升了模型在长文本场景下的运行效率。
该方案借鉴了 Mixture of Block Attention (MoBA) 的思想，采用块级稀疏注意力（block-wise sparse attention），将输入的 Key 和 Value 按照块进行划分。每个 query 在 head 维度上仅选择 top-k 个关键块参与注意力计算，大幅降低整体计算量。此外，该设计进一步融合了 Grouped Query Attention (GQA)，使同一组内的多个 query heads 共享相同的 top-k 块选择结果，从而实现一次块读取服务多个 head，有效减少内存访问开销（I/O cost）。
Ring-mini-sparse-2.0-exp 开源地址：
Hugging Face：https://www.php.cn/link/a082c0a47eb5379353243b15bf77c560
ModelScope：https://www.php.cn/link/f3a3d61b07332233ac57e4f232725e18
GitHub：https://www.php.cn/link/3310199d4a42bc84d71ce62d2d260379
以上就是蚂蚁百灵团队开源高效推理模型 Ring-mini-sparse-2.0-exp的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/193495.html
微信扫一扫 
支付宝扫一扫 
