thinking %ignore_a_2% 最新研究正在被热议！
创始人、OpenAI 前 CTO Mira Murati 亲自转发后，一众围观大佬开始惊叹其研究价值（截不完、根本截不完）：
根据 Mira Murati 的提炼，原来他们提出了一种让小模型更懂专业领域的 LLM（大语言模型）后训练方法——On-Policy Distillation （在线策略蒸馏）。
这个方法的精髓，可以打个比方。想象一下，以前训练 AI 有两种主流方式：
实战演戏（如强化学习等在线策略方法）：让它自己摸索、从错误中成长，学得灵活，但非常耗时耗力。
请家教（如监督微调等离线策略方法）：直接把正确答案喂给它，效率高，但学得死板。
而 On-Policy Distillation 相当于请了一位天才教练。这位教练一边让 AI 自己动手解题（实战），一边在它卡壳或犯错时，立刻给出关键提示和正确答案（家教）。
这样做最大的好处就是 ” 性价比 ” 超高。实验结果证明，用这种方法来教小模型数学——达到同样水平，所需的训练步骤少了 7-10 倍；整体算下来，效率提升了 50-100 倍。
这意味着，一些资源受限的个人或小公司，也能高效地训练出在特定领域很能打的 ” 小模型 ” 了。
包括翁荔在内，难怪大家看完都直呼：优雅、实在是优雅！
而且啊，当我们扒完相关博客后才发现，On-Policy Distillation 的价值还不止于此——
在线策略蒸馏：结合两种范式的最佳实践
论文指出，要让模型具备强大的专业领域能力，通常会经历以下三个过程：
预训练 ( Pre-training ) : 教会模型通用能力，比如语言使用、广义推理、世界知识。
中训练 ( Mid-training ) : 传授领域知识，比如代码、医学数据库、公司内部文档。
后训练 ( Post-training ) : 这是最后也是至关重要的一步，需要引导模型产生目标行为，比如按指令操作、解决数学题、聊天等。
而他们这次就把目光放在了后训练上。
截至目前，后训练阶段诞生了两大主流范式，即开头提到的在线策略 ( On-policy ) 和离线策略 ( Off-policy ) 训练。
考虑到两种方式各有其优缺点，所有这次他们选择 ” 取其精华去其糟粕 “，来一个巧妙的融合——
将在线策略的自主探索与离线策略的密集监督结合起来，以创造一个 ” 两全其美 ” 的训练框架。
具体来说，他们核心想让学生模型在自己生成的轨迹上学习，但每一步（注意是每一步）都由一个更强大的教师模型进行细致的评分和指导。（就像解题一样，学生给出每一步解题过程，教师给每一步打分）
相关流程大致如下：
初始化教师模型：找一个实力强大的模型当老师（通用模型或经过专门训练的专家模型均可），它只负责计算概率，而不需要进行反向传播更新梯度。
学生采样轨迹：让学生模型自主解题，过程中需记录下它在每一步选择每个 token 的对数概率。
教师逐步评分：将学生模型生成的轨迹，原封不动地交给教师模型。教师模型会对这个轨迹的每一个 token 进行评估，计算出在相同的上下文下，它自己生成这个 token 的对数概率。然后，通过学生和教师的对数概率之差，可以计算出两者在每一步的分歧 ( Divergence ) 。
使用分歧作为奖励进行训练：最后使用上述分歧作为奖励信号，来更新学生模型。
这里重点介绍一下 “KL 散度 （Negative reverse KL divergence） ” 这一评估分歧的指标。
简单来说，当学生模型与教师模型的行为一致时，KL 散度为零；当学生模型的选择与教师模型的期望相差甚远时，KL 散度会变得很大，从而产生一个强烈的负面奖励（惩罚）。
学生模型的目标就是通过训练，最小化这个 KL 散度——换言之，越像老师奖励越高，越不像惩罚越狠。
这种逆向 KL 散度具备两个非常优秀的特性：
一是能防作弊。传统强化学习中，模型可能学会钻空子，用一些看似正确实则取巧的方式获得高分。而现在，评判标准直接锚定教师模型的 ” 真知灼见 “，学生只有真正学到精髓才能获得高分，堵死了作弊空间。
二是让学习过程更加稳定和聚焦。它能让学生模型精准锁定教师模型展现的 ” 最优解法 “，避免在多个普通答案间摇摆不定，从而确保学习过程更稳定、结果更出色。
基于上述方法和特性，他们进行了两个实验来验证其效果。
实验一：将 32B 大模型的数学能力快速教给 8B 小模型
教师模型：Qwen3-32B
可图大模型
可图大模型（Kolors）是快手大模型团队自研打造的文生图AI大模型
32 查看详情
学生模型：Qwen3-8B-Base
所有实验从一个共同起点开始：学生模型通过传统训练（监督微调），在数学基准 AIME ’ 24 上已达到 60 分。研究目标是将性能从 60 分提升至 70 分。
为达成目标，研究人员对比了三种方法的计算成本：
继续传统训练：大约需要额外训练 200 万个样本，计算开销非常巨大；
强化学习：根据 Qwen3 团队的技术报告，在一个相似的 SFT 初始化模型之上，通过强化学习将性能提升到 67.6%，花费了 17920 个 GPU 小时。这个成本与训练 200 万个 SFT 样本的成本大致相当；
在线策略蒸馏：仅用了大约 150 个训练步骤就达到了 70% 的目标分数，与外推到 200 万样本的 SFT 相比，在线策略蒸馏的计算成本砍掉了 9~30 倍。
而且如果从 GPU 小时的角度看，由于教师模型计算对数概率 ( log-probs ) 的过程可以高效并行化，实际节省的时间成本可能更接近 18 倍。
这个实验有力证明了在线策略蒸馏在计算效率上的巨大优势。它用远低于传统 SFT 或 RL 的成本，实现了同等甚至更好的性能提升。
实验二：打造兼具知识性与通用性的企业 AI 助理
目前存在的问题是：给 AI 学习新知识（公司内部文档）时，它会忘记旧技能（对话交流）。
假如使用传统微调方法向模型注入内部知识，往往会出现严重的 ” 灾难性遗忘 ” ——内部知识得分显著提升（从 18% 升至 43%），但通用能力大幅下降（从 85% 暴跌至 45%）。
而且无论怎样调整数据配比，都无法同时保住两项能力。
于是他们想到了，当模型因学习新知识而 ” 遗忘 ” 部分通用能力后，可以使用在线策略蒸馏进行修复——让 ” 失忆 ” 的模型向它自己最初的、能力完整的版本学习。
结果意外发现，模型的通用能力几乎完全恢复（从 79% 回升至 83%），同时新知识未被破坏（反而从 36% 提升至 41%）。
这说明，在线策略蒸馏是解决 AI” 灾难性遗忘 ” 的有效工具。它能够在不损害新学技能的前提下，精准地恢复模型遗忘的核心能力，为实现 AI 的 ” 终身学习 ” 提供了关键技术支持。
论文核心作者 Kevin Lu
最后看一下这项研究的核心作者——Kevin Lu（论文唯一单独提到的）。
今年 8 月，Kevin Lu 离开 OpenAI 转身投入 Thinking Machine 的怀抱。
在 OpenAI 工作期间，他领导了 4o-mini 发布，并参与 o1-mini、o3 发布，主要研究强化学习、小模型和合成数据。
很明显，这一次的研究也和其之前的工作息息相关。
论文：
https://thinkingmachines.ai/blog/on-policy-distillation/
参考链接：
[ 1 ] https://x.com/miramurati/status/1982856564970254772
[ 2 ] https://x.com/_kevinlu/status/1982857375263666590
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
年度科技风向标「2025 人工智能年度榜单」评选报名火热进行中！我们正在寻找 AI+ 时代领航者 点击了解详情
企业、产品、人物 3 大维度，共设立了 5 类奖项，欢迎企业报名参与
一键关注 点亮星标
科技前沿进展每日见
以上就是Thinking Machine 新研究刷屏！结合 RL+ 微调优势，小模型训练更具性价比了的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/276437.html
微信扫一扫 
支付宝扫一扫 
