kimi 再次引爆技术圈，开源项目再出王炸！
这次，一个名为 checkpoint-engine 的中间件，让 Kimi K2 的万亿级模型参数迈入“秒级更新”新时代。
它不仅能将更新后的权重从单一节点瞬间同步至全部节点，还支持灵活的点对点动态参数刷新。
网友们直呼大开眼界，惊叹声不断。
接下来，我们就来深入解析这个关键中间件背后的黑科技。
该组件名为 checkpoint-engine（检查点引擎），核心用途是强化学习流程中的关键环节——在大模型推理过程中高效更新模型权重。
借助这一利器，Kimi-K2 仅需约 20 秒，即可完成在数千张 GPU 上对万亿参数的全面刷新。
与前代 Kimi-k1.5 类似，K2 在同步强化学习训练中采用混合共置架构：训练引擎与推理引擎部署在同一组计算节点上。
当其中一个引擎运行时，另一个会主动释放 GPU 资源，实现资源动态调配。
每轮强化学习迭代中，中央控制器首先调用推理引擎生成新一批数据，随后切换至训练引擎进行学习，并将更新后的参数传回推理引擎，用于下一轮推理。
因此，两个引擎均针对高吞吐性能进行了深度优化。
但随着模型规模跃升至 K2 级别，引擎切换和故障恢复带来的延迟问题愈发突出。
于是，研究团队开始思考：如何更高效地完成参数更新？
在 rollout 阶段，训练引擎的参数会被卸载到 DRAM 中，因此重启训练只需一次 H2D（主机到设备）数据传输即可完成。
然而，推理引擎的启动则复杂得多——它需要从训练引擎获取最新参数，而两者的参数分片策略并不一致。
考虑到 K2 模型的巨大体量和庞大的硬件集群规模，若通过传统网络文件系统重新切分并广播参数，所需带宽高达每秒数 PB，系统开销难以承受。
正是在此背景下，检查点引擎横空出世。
团队选择在训练节点上部署分布式检查点引擎，统一管理参数状态。
参数更新时，每个检查点工作节点先从训练引擎获取本地参数副本，然后将完整参数集广播至所有检查点节点。
推理引擎只需从中拉取自身所需的分片即可完成加载。
为支撑万亿参数级别的更新效率，团队采用了逐分片流水线更新机制，最大限度降低内存占用。
理论上可行的三阶段流水线如下：
H2D 阶段：异步将某一分片权重复制到 H2D 缓冲区；广播阶段：复制完成后，将其送入 IPC 缓冲区并向所有 GPU 广播；重载阶段：推理引擎同时从另一 IPC 缓冲区加载参数。
不过，目前这一理想化的三阶段方案尚未落地。K2 实际采用的是更为简洁的两阶段设计：
所有设备先同步执行一次 H2D 传输；
随后，广播与重载操作并行展开。
团队决定将完整参数集直接广播至整个集群，而不考虑各推理节点的具体分片方式。
虽然这会导致传输总量略高于理论最优值，但却极大简化了系统架构，减少了对训练与推理引擎的侵入性。
研究人员认为，这种微小的带宽代价换来的是训练与推理模块的完全解耦，显著降低了维护与测试难度。
此外，对于 Kimi K2 这类超大规模模型而言，启动速度同样至关重要。
在启动训练引擎时，每个节点可以选择性地读取部分或不读磁盘参数，再通过节点间通信补全缺失部分。
这种方式确保整个集群只需整体读取一次检查点，有效规避了高昂的磁盘 IO 成本。
同时，由于推理引擎为独立副本，团队希望避免在其间引入额外同步屏障。
因此，在初始化阶段复用了检查点引擎的能力：
由检查点引擎统一从磁盘读取检查点数据（类似训练引擎启动过程），然后用于初始化尚未启动的推理实例。
值得一提的是，得益于专用检查点引擎的设计，系统具备更强的容错能力——任一推理副本可独立重启，无需与其他副本协调，彻底摆脱单点故障风险。
由此可见，这个看似低调的中间件，实则在 Kimi K2 的整体架构中扮演着举足轻重的角色。
参考链接：
[ 1 ] https://www.php.cn/link/53afd7ab97449cdbb682b6b7e335c524
[ 2 ] https://www.php.cn/link/7921d90348e08272240aeed482095bae
[ 3 ] https://www.php.cn/link/ac358cbed52f811a87ccf33be3e5b5bb
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
专属 AI 产品从业者的实名社群，只聊 AI 产品最落地的真问题 扫码添加小助手，发送「姓名 + 公司 + 职位」申请入群～
进群后，你将直接获得：
最新最专业的 AI 产品信息及分析
不定期发放的热门产品内测码
内部专属内容与专业讨论
点亮星标
科技前沿进展每日见
以上就是Kimi 开源又放大招！20 秒更新万亿参数的中间件来了的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/74992.html
微信扫一扫 
支付宝扫一扫 
