RWKV 社区八月动态:RWKV7s 0.1B 发布,G0 13B 训练中,6 篇论文

欢迎大家收看《rwkv 社区最新动态》,本期内容收录了 rwkv 社区 2025 年 8 月的最新动态。

只需 3 分钟,快速了解 RWKV 社区 8 月都有哪些新鲜事!

8 月动态省流版(TL;DR)

RWKV 模型新闻动态

RWKV-7s 0.1B 发布 RWKV7-G0 13.3B 正在训练

RWKV 学术研究动态

新论文:Monthly Service Prediction for 4G/5G Systems: A Short Time Series Based Neural Network Solution(基于 RWKV 的时序预测,发表于中科院 1 区 TOP 期刊 IEEE TCCN) 新论文:REB-former: RWKV-enhanced E-branchformer for Speech Recognition(基于 RWKV 增强的自动语音识别模型,发表于 Interspeech 2025) 新论文:A Multimodal Bone Stick Matching Approach Based on Large-Scale Pre-Trained Models and Dynamic Cross-Modal Feature Fusion(基于 RWKV 的多模态骨签匹配,发表于 Applied Sciences) 新论文:MSFF-RWKV : Single-Structure Multi-stage Feature Fusion Lightweight Super-Resolution Network(基于 RWKV 的图像超分辨率,已入选 ICIC 2025) 新论文:Smooth Reading: Bridging the Gap of Recurrent LLM to Self-Attention LLM on Long-Context Tasks(基于 RWKV 的推理优化) PointDGRWKV: Generalizing RWKV-like Architecture to Unseen Domains for Point Cloud Classification(基于 RWKV 的点云域泛化框架)

RWKV 社区市场活动

RWKV 团队参加全球互联网大会

RWKV 模型新闻动态

RWKV-7s 0.1B 发布

RWKV-7s 0.1B 模型开源发布,其中 RWKV7a-G1b 0.1B 于 8 月 19 日完成训练并开源发布,RWKV7b-G1b 0.1B 于 8 月 22 日完成训练并开源发布。两个模型较原生的 RWKV7-G1a 0.1B 均有合理提升。

经测试,RWKV7+DE 稀疏模型,在端侧的推理速度与 RWKV7 相同,实现了不占内存不减速度的免费性能提升。

RWKV 社区八月动态:RWKV7s 0.1B 发布,G0 13B 训练中,6 篇论文

模型 模型构成 总参数 (M) 激活参数 (M) 每 Token 读取数值量

RWKV7-G1 0.1B RWKV-7 191.03 140.70 768 RWKV7a-G1b 0.1B RWKV-7 + DE 997.85 142.23 13,056 RWKV7b-G1b 0.1B RWKV-7 + DE + DEA 1,806.75 145.83 25,344

推理代码:

https://github.com/BlinkDL/RWKV-LM/blob/main/RWKV-v7/rwkv_v7a_demo.py

https://github.com/BlinkDL/RWKV-LM/blob/main/RWKV-v7/rwkv_v7b_demo.py

可以与 RWKV7 代码做 diff 对比:

https://github.com/BlinkDL/RWKV-LM/blob/main/RWKV-v7/rwkv_v7_demo_fast.py

RWKV7-G0 13.3B 正在训练

2025 年 8 月 26 日,RWKV7-G0 13.3B 模型训练进度已达 33%。在仅完成三分之一训练的情况下,该模型在 MMLU 测试已取得 63.21% 成绩,相较于 RWKV-6 14.1B 的 55.38% 提升近 8 个百分点。

模型版本 参数量 训练进度 MMLU 分数 (%)

v6 14.1B 100% 55.38 v7 13.3B 20% 58.57 v7 13.3B 27% 60.18 v7 13.3B 33% 63.21

目前 RWKV-7 已发布 0.1/0.4/1.5/2.9/7.2B 支持全球所有 100+ 种语言的带推理基底模型,且 13.3B 正在训练,即将陆续发布。

RWKV 学术研究动态

RWKV 学术研究包括基于 RWKV 架构的新论文或 RWKV 社区参加的学术研究。

Monthly Service Prediction for 4G/5G Systems

论文名称:Monthly Service Prediction for 4G/5G Systems: A Short Time Series Based Neural Network Solution 论文链接:https://ieeexplore.ieee.org/abstract/document/11104274 发布日期:2025-07-30

本文基于 RWKV 模型开发了一个短时间序列预测框架,包括深度时间聚类表示(DTCR)和递减时间差网络(DTD-Net)。DTCR 使用 RWKV 编码器聚类数据以提升内部逻辑,DTD-Net 通过裁剪月度特征块减少注意力操作防止过拟合。实验在中国移动服务数据上验证了框架的有效性,平均 MAPE 为 0.126 和 0.120。

该论文的模型十分高效,已发表于中科院 1 区 TOP 期刊 IEEE TCCN。

RWKV 社区八月动态:RWKV7s 0.1B 发布,G0 13B 训练中,6 篇论文

魔乐社区 魔乐社区

天翼云和华为联合打造的AI开发者社区,支持AI模型评测训练、全流程开发应用

魔乐社区 102 查看详情 魔乐社区

REB-former

论文名称:REB-former: RWKV-enhanced E-branchformer for Speech Recognition 论文链接:https://www.isca-archive.org/interspeech_2025/song25b_interspeech.html 发布日期:2025-08-17

本文提出了 REB-former,一种基于 RWKV 增强的 E-Branchformer 模型,用于自动语音识别 (ASR)。该模型交错结合了 E-Branchformer 和 RWKV 层,并引入 GroupBiRWKV 模块克服 RWKV 的单向性,旨在降低计算复杂度并提升语音建模能力。REB-former 在 LibriSpeech 100h 数据集上实现了先进的性能,显著降低了词错误率。

论文的模型十分有效,已发表于音频领域重要会议 Interspeech 2025。

RWKV 社区八月动态:RWKV7s 0.1B 发布,G0 13B 训练中,6 篇论文

A Multimodal Bone Stick Matching Approach

论文名称:A Multimodal Bone Stick Matching Approach Based on Large-Scale Pre-Trained Models and Dynamic Cross-Modal Feature Fusion 论文链接:https://www.mdpi.com/2076-3417/15/15/8681 发布日期:2025-08-05

本文基于 RWKV 模型及其变体,提出了一种多模态骨签匹配方法。该方法利用 Vision-RWKV 提取视觉特征、RWKV 分析铭文、BERT 编码考古元数据,并通过动态跨模态特征融合机制整合信息。实验表明,该方法在骨签碎片匹配中达到94.73%的准确率,显著优于传统方法。

该论文的方法非常新颖有效,已发表于 JCR Q2 分区的 Applied Sciences。

RWKV 社区八月动态:RWKV7s 0.1B 发布,G0 13B 训练中,6 篇论文

MSFF-RWKV

论文名称:MSFF-RWKV : Single-Structure Multi-stage Feature Fusion Lightweight Super-Resolution Network 论文链接:https://link.springer.com/chapter/10.1007/978-981-96-9949-0_35 发布日期:2025-07-15

本文基于 RWKV 模型提出了一种轻量级图像超分辨率网络 MSFF-RWKV。通过单块多阶段特征融合策略,结合 LPP-Shift 和 ME-Shift 模块,显著减少了参数和计算复杂度,同时提升了图像重建质量。实验表明,该模型在 PSNR 和 SSIM 指标上优于现有方法,参数减少 26.6%。

该论文的模型非常优秀,已收录于 ICIC 2025。

RWKV 社区八月动态:RWKV7s 0.1B 发布,G0 13B 训练中,6 篇论文

Smooth Reading

论文名称:Smooth Reading: Bridging the Gap of Recurrent LLM to Self-Attention LLM on Long-Context Tasks 论文链接:https://arxiv.org/abs/2507.19353 发布日期:2025-07-25

本文基于 RWKV 模型提出 Smooth Reading 方法,这是一种分块推理策略,灵感来源于人类阅读方式。该方法将长上下文分成小块处理,迭代总结信息以减少内存需求,优化循环模型性能。实验显示,该方法在 LongBench 上提升性能高达 3.61%,并保持高效训练和推理速度,显著缩小与自注意力模型的差距。

RWKV 社区八月动态:RWKV7s 0.1B 发布,G0 13B 训练中,6 篇论文

PointDGRWKV

论文名称:PointDGRWKV: Generalizing RWKV-like Architecture to Unseen Domains for Point Cloud Classification 论文链接:https://arxiv.org/abs/2508.20835 发布日期:2025-08-28

本文介绍了 PointDGRWKV,首个针对点云分类域泛化 (DG PCC) 的 RWKV-based 框架。它解决了 RWKV 直接应用于点云时,固定方向 Token Shift 导致的几何扭曲和 Bi-WKV 注意力机制易受跨域差异影响的问题。PointDGRWKV 提出了自适应几何 Token Shift (AGT-Shift) 和跨域 Key 特征分布对齐 (CD-KDA) 模块,以增强局部几何建模和跨域鲁棒性,同时保持 RWKV 的线性效率,并在 DG PCC 基准上实现了先进性能。

RWKV 社区八月动态:RWKV7s 0.1B 发布,G0 13B 训练中,6 篇论文

社区市场活动

RWKV 团队参加全球互联网大会

2025 年 8 月 14 日,RWKV 团队参加全球互联网大会,详细介绍了 RWKV 模型最新进展。

RWKV 社区八月动态:RWKV7s 0.1B 发布,G0 13B 训练中,6 篇论文

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

? RWKV 中文文档:https://www.rwkv.cn ? RWKV 论坛:https://community.rwkv.cn/ ? QQ 频道:https://pd.qq.com/s/9n21eravc ? BiliBili 视频教程:https://space.bilibili.com/3546689096910933

源码地址:点击下载

以上就是RWKV 社区八月动态:RWKV7s 0.1B 发布,G0 13B 训练中,6 篇论文的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/359481.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
抖音官网抖币通道 抖音充值链接中心
上一篇 2026年11月14日 16:48:51
ThinkPHP6中如何使用Ioc容器实现依赖注入?
下一篇 2026年10月26日 14:25:37

相关推荐

  • 抖音官网抖币通道 抖音充值链接中心

    抖音官网抖币通道 抖音充值链接中心抖音官网抖币通道 抖音充值链接中心抖音官网抖币通道 抖音充值链接中心抖音官网抖币通道 抖音充值链接中心

    抖音官网抖币充值通道位于https://www.douyin.com/pay,支持微信、支付宝等多支付方式,安全便捷,充值金额1元起,最高单笔10万元,网页与App端数据实时同步,苹果用户也有专属优化路径。 抖音官网抖币通道在哪里?这是不少网友都关注的,接下来由PHP小编为大家带来抖音充值链接中心,…

    2026年11月14日 • 用户投稿
    000
  • csgoskins开箱网站入口 csgoskins游戏免费开箱网站地址

    csgoskins开箱网站入口 csgoskins游戏免费开箱网站地址csgoskins开箱网站入口 csgoskins游戏免费开箱网站地址csgoskins开箱网站入口 csgoskins游戏免费开箱网站地址csgoskins开箱网站入口 csgoskins游戏免费开箱网站地址

    CSGO玩家可通过推广代码、每日签到和等级奖励等方式在Hellcase、CSGORoll和Farmskins等平台免费开箱。1. Hellcase提供每日免费箱子和推广代码福利,用户需Steam昵称含指定字样并保持活跃;2. CSGORoll通过等级奖励赠送免费箱子,每升5级可获一次开箱机会,并支持…

    2026年11月14日 • 用户投稿
    100
  • Java中如何优雅地避免魔法值?

    Java中如何优雅地避免魔法值?Java中如何优雅地避免魔法值?Java中如何优雅地避免魔法值?Java中如何优雅地避免魔法值?

    Java开发中,硬编码的数字或字符串(魔法值)降低代码可读性和维护性。例如,用数字代表状态(1:查询中,2:已完成,3:失败)。 本文探讨几种避免魔法值的优雅方法。 方法一:类内常量 适用于魔法值仅在一个类内使用。 public class MyClass { public static final…

    2026年11月14日 • 用户投稿
    000
  • 产能利用率不足,兴森科技2024年预亏1.7亿元-2亿元

    产能利用率不足,兴森科技2024年预亏1.7亿元-2亿元产能利用率不足,兴森科技2024年预亏1.7亿元-2亿元产能利用率不足,兴森科技2024年预亏1.7亿元-2亿元产能利用率不足,兴森科技2024年预亏1.7亿元-2亿元

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 兴森科技发布2024年度业绩预告,预计净亏损1.7亿至2亿元,扣非后净亏损也处于同一区间。 这与2023年实现2.1亿元净利润(扣非后4776.35万元)形成鲜明对比。 公司业绩大幅下滑的主要原…

    2026年11月14日 • 用户投稿
    000
  • 如何在konvajs库上实现命令模式来支持图形操作的重做和撤销功能?

    如何在konvajs库上实现命令模式来支持图形操作的重做和撤销功能?如何在konvajs库上实现命令模式来支持图形操作的重做和撤销功能?如何在konvajs库上实现命令模式来支持图形操作的重做和撤销功能?如何在konvajs库上实现命令模式来支持图形操作的重做和撤销功能?

    KonvaJS 命令模式:轻松实现图形操作的撤销与重做 本文介绍如何在 KonvaJS 绘图系统中集成命令模式,实现图形操作的撤销 (Ctrl+Z) 和重做 (Ctrl+Y) 功能。 我们将记录每个操作,并利用命令模式优雅地管理这些操作历史。 首先,我们需要定义一个 Command 基类,它包含 e…

    2026年11月14日 • 用户投稿
    100
  • 官宣:Apache Cloudberry (Incubating) 2.0.0 发布!

    官宣:Apache Cloudberry (Incubating) 2.0.0 发布!官宣:Apache Cloudberry (Incubating) 2.0.0 发布!官宣:Apache Cloudberry (Incubating) 2.0.0 发布!官宣:Apache Cloudberry (Incubating) 2.0.0 发布!

    本文由下面官方博文综合整理而成,较原文编排有所改动: ·https://cloudberry.apache.org/blog/announce-apache-cloudberry-2.0.0/ ·https://cloudberry.apache.org/blog/whats-new-in-apac…

    2026年11月14日 • 用户投稿
    000
  • zookeeper故障排查centos技巧

    在centos上进行zookeeper故障排查可以按照以下步骤进行: 检查Zookeeper服务状态:使用以下命令检查Zookeeper服务的当前状态: sudo systemctl status zookeeper 如果服务未运行,可以使用以下命令启动它: sudo systemctl start…

    2026年11月14日
    000
  • 微软加大宣传攻势,推送更多 Win10 用户升级到 Windows 11 系统

    微软加大宣传攻势,推送更多 Win10 用户升级到 Windows 11 系统微软加大宣传攻势,推送更多 Win10 用户升级到 Windows 11 系统微软加大宣传攻势,推送更多 Win10 用户升级到 Windows 11 系统微软加大宣传攻势,推送更多 Win10 用户升级到 Windows 11 系统

    微软宣布,windows 10 的技术支持将在 2025 年 10 月 14 日正式结束。为了促使更多用户转向 windows 11,微软正在加大推广力度,并向众多 windows 10 用户发送了全屏通知,建议他们升级到 windows 11 或者考虑购买一台搭载全新操作系统的设备,以确保获得更好…

    2026年11月14日 • 用户投稿
    200
  • Java数组如何高效生成所有两位以上元素的组合和排列?

    Java数组如何高效生成所有两位以上元素的组合和排列?Java数组如何高效生成所有两位以上元素的组合和排列?Java数组如何高效生成所有两位以上元素的组合和排列?Java数组如何高效生成所有两位以上元素的组合和排列?

    Java数组组合与排列的高效生成 本文介绍如何高效生成Java数组中所有至少包含两个元素的组合和排列。例如,给定数组[11, 33, 22],我们需要找出所有可能的组合,例如[11, 33]、[11, 22]、[11, 33, 22]等,并且要区分元素顺序,例如[11, 33]和[33, 11]视为…

    2026年11月14日 • 用户投稿
    000
  • 法拉利296 Challenge发布 搭载V6双涡轮增压发动机

    法拉利296 Challenge发布 搭载V6双涡轮增压发动机法拉利296 Challenge发布 搭载V6双涡轮增压发动机法拉利296 Challenge发布 搭载V6双涡轮增压发动机法拉利296 Challenge发布 搭载V6双涡轮增压发动机

      在穆杰罗赛道举办的法拉利年终嘉年华上,法拉利296 challenge正式推出。这款赛车汲取了296 gt3的精髓,准备在2024年的第32届法拉利挑战赛上首次亮相。这是跃马品牌在单一品牌赛事中迈出的重要一步。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSee…

    2026年11月14日 • 用户投稿
    000
  • MySQL大批量更新如何避免死锁?

    MySQL大批量更新如何避免死锁?MySQL大批量更新如何避免死锁?MySQL大批量更新如何避免死锁?MySQL大批量更新如何避免死锁?

    MySQL UPDATE语句及大批量更新性能分析 本文深入探讨MySQL UPDATE语句的底层执行机制,并分析其在大批量数据更新场景下的性能表现以及死锁风险。 文中将重点阐述如何优化大批量更新操作,降低死锁概率。 文章背景:在高读写频率的数据库中,需要在一个事务内更新大量数据(1000-10000…

    2026年11月14日 • 用户投稿
    200
  • 容大感光2024年预盈1.2亿元-1.37亿元,同比增长40%-60%

    容大感光2024年预盈1.2亿元-1.37亿元,同比增长40%-60%容大感光2024年预盈1.2亿元-1.37亿元,同比增长40%-60%容大感光2024年预盈1.2亿元-1.37亿元,同比增长40%-60%容大感光2024年预盈1.2亿元-1.37亿元,同比增长40%-60%

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 容大感光发布2024年业绩预告,预计净利润将大幅增长!公司预计2024年归属于上市公司股东的净利润将在1.197亿元至1.368亿元之间,同比增长40%-60%;扣除非经常性损益后的净利润预计在…

    2026年11月14日 • 用户投稿
    000
  • 亮数据推出全球第一个网页 MCP

    亮数据推出全球第一个网页 MCP亮数据推出全球第一个网页 MCP亮数据推出全球第一个网页 MCP亮数据推出全球第一个网页 MCP

    亮数据Bright Data重磅上线全球首款网页MCP解决方案。 全球首个网页MCP,融合人工智能与网络访问能力的终极利器 一体化MCP平台 —— 为大语言模型(LLM)、AI代理及各类应用提供无缝访问、搜索、抓取和浏览实时网页数据的能力,智能规避封锁机制。几分钟内完成部署,轻松实现规模扩展。全面兼…

    2026年11月14日 • 用户投稿
    100
  • CentOS上SQL Server的性能调优秘籍

    sql server 是微软开发的关系型数据库管理系统,并不属于 centos 的原生软件范畴。在 centos 系统中,常见的数据库解决方案通常是 mysql 或 postgresql。以下是针对这两种数据库的一些性能优化建议: 硬件资源层面的优化 提升硬件性能:例如使用 SSD 硬盘代替传统 H…

    2026年11月14日
    400
  • 曝小米SU7春节后将迎来一波订单小高峰 已交付15万台

    曝小米SU7春节后将迎来一波订单小高峰 已交付15万台曝小米SU7春节后将迎来一波订单小高峰 已交付15万台曝小米SU7春节后将迎来一波订单小高峰 已交付15万台曝小米SU7春节后将迎来一波订单小高峰 已交付15万台

    小米su7春节后订单或迎高峰,12月销量超model 3! 博主@小马甲不小预测,春节后小米SU7订单将迎来一波小高峰。其理由是春节期间,大量小米SU7在全国各地行驶,起到很好的广告宣传作用。此前,该博主透露小米SU7累计订单近30万台,已交付15.1万台,剩余约15万台待交付。 ☞☞☞AI 智能聊…

    2026年11月14日 • 用户投稿
    100
  • 英伟达新款“中国特供” AI 芯片性能强于 H20,但价格翻番

    英伟达新款“中国特供” AI 芯片性能强于 H20,但价格翻番英伟达新款“中国特供” AI 芯片性能强于 H20,但价格翻番英伟达新款“中国特供” AI 芯片性能强于 H20,但价格翻番英伟达新款“中国特供” AI 芯片性能强于 H20,但价格翻番

    路透社独家披露了英伟达为中国市场定制的新一代AI芯片更多内幕信息。 据悉,这款芯片暂命名为B30A,基于英伟达最新的Blackwell架构打造,在性能上实现显著提升。据两位知情人士透露,若获得美国政府批准在华销售,B30A的定价或将达到H20的两倍左右。目前,H20的市场售价在1万至1.2万美元之间…

    2026年11月14日 • 用户投稿
    400
  • CentOS上PyTorch的GPU加速设置

    在centos上为pytorch设置gpu加速,你需要确保你的系统满足以下条件: 一台配备了NVIDIA GPU的计算机。已安装CUDA Toolkit。已安装cuDNN库。安装了支持GPU的PyTorch版本。 以下是详细步骤: 1. 安装NVIDIA驱动 首先,确保你的NVIDIA GPU驱动已…

    2026年11月14日
    000
  • 本田自动紧急刹车再惹争议 近30万辆车在美接受调查

    本田自动紧急刹车再惹争议 近30万辆车在美接受调查本田自动紧急刹车再惹争议 近30万辆车在美接受调查本田自动紧急刹车再惹争议 近30万辆车在美接受调查本田自动紧急刹车再惹争议 近30万辆车在美接受调查

    美国国家公路交通安全管理局(nhtsa)就自动紧急刹车系统(aeb)问题,对近30万辆本田汽车展开调查。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 此次调查涵盖2019-2022款本田Insight和2019-2023款本田Passpo…

    2026年11月14日 • 用户投稿
    100
  • 如何使用Java和Selenium将高度较大的HTML页面转换为图片?

    如何使用Java和Selenium将高度较大的HTML页面转换为图片?如何使用Java和Selenium将高度较大的HTML页面转换为图片?如何使用Java和Selenium将高度较大的HTML页面转换为图片?如何使用Java和Selenium将高度较大的HTML页面转换为图片?

    Java与Selenium:高效处理超高HTML页面截图 在使用Java和Selenium进行网页自动化或数据抓取时,常常需要将HTML页面转换为图片。本文重点介绍如何利用Java和Selenium高效处理高度极高的HTML页面截图问题。 挑战:超高页面截图难题 直接截图超高HTML页面时,即使设置…

    2026年11月14日 • 用户投稿
    000
  • Android应用如何实现一键返回主页面并退出?

    Android应用如何实现一键返回主页面并退出?Android应用如何实现一键返回主页面并退出?Android应用如何实现一键返回主页面并退出?Android应用如何实现一键返回主页面并退出?

    Android Fragment返回栈管理及App退出优化 在Android开发中,Fragment常用于管理UI界面。然而,多个Fragment跳转后,系统返回键的默认行为是逐层返回,而非直接返回主页面或退出App。本文将解决如何在Activity中包含主Fragment和子Fragment,多次…

    2026年11月14日 • 用户投稿
    500

发表回复

登录后才能评论
关注微信