开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

开源大模型王座突然易主,居然来自一家小创业团队,瞬间引爆业界。

新模型名为Reflection 70B,使用一种全新训练技术,让 AI 学会在推理过程中纠正自己的错误和幻觉。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

比如最近流行的数 r 测试中,一开始它犯了和大多数模型一样的错误,但主动在 标签中纠正了自己。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

在官方评测中,70B 模型全面超越最强开源 Llama 3.1 405B、GPT-4o、Claude 3 Opus、Gemini 1.5 Pro,特别是数学基准 GSM8K 上直接刷爆,得分 99.2%。

这个结果也让 OpenAI 科学家、德扑 AI 之父 Noam Brown 激情开麦:

GSM8K 得分 99%!是不是可以正式淘汰这个基准了?

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

模型刚刚上线网友就把试玩挤爆了,对此 Meta 还主动支援了更多算力。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

在网友测试中,Reflection 70B 能回答对 GSM8K 数据集中本身答案错误的问题:

我向模型提供了 GSM8K 中存在的 5 个 “ground_truth” 本身就不正确的问题。

模型没有重复数据集中的错误答案,而是全部回答对了,这很令人印象深刻,表明那 99.2% 的准确率并非来自于记忆测试集!

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

数各种 r 都不在话下,连生造词”drirrrngrrrrrnnn” 中有几个 r 也能被正确数对。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

网友纷纷对小团队做出的开源超越顶流闭源感到惊讶,现在最强开源模型可以在本地运行了。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

关键 70B 还只是个开始,官方表示下周还会发布更大的Reflection 405B。

预计 405B 性能将大幅优于 Sonnet 和 GPT-4o。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

Reflection 70B 权重已公开,API 访问将于今天晚些时候由 Hyperbolic Labs 提供。

模型能自我反思纠正错误

目前关于 Reflection 70B 的更多细节如下。

Reflection 70B 能力提升的关键,是采用了一种名为Reflection-Tuning的训练方法,它能够让模型反思自己生成的文本,在最终确定回应前检测并纠正自身推理中的错误。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

训练中的数据来自使用 GlaiveAI 平台生成的合成数据。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

Reflection 70B 基于 Llama 3.1 70B Instruct,可以使用与其它 Llama 模型相同的代码、pipeline 等从 Reflection Llama-3.1 70B 进行采样。

它甚至使用了标准的 Llama 3.1 聊天格式。

不过,Reflection 70B 引入了一些特殊 tokens,结构化输出过程。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

如下面这个例子所展示的,规划过程分为一个独立的步骤,这样做可以提高 CoT 效果,并保持输出精炼:

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

模型将从在 和 标签内输出推理开始,一旦对其推理感到满意,就会在 和 标签内输出最终答案。

所以它能够将其内部思考和推理与最终答案分离。

在 部分,模型可能会输出一个或多个 标签,这表明模型发现了其推理中的错误,并将在提供最终答案之前尝试纠正该错误。

系统提示如下:

You are a world-class AI system, capable of complex reasoning and reflection. Reason through the query inside tags, and then provide your final response inside tags. If you detect that you made a mistake in your reasoning at any point, correct yourself inside tags.

(你是一个世界级人工智能系统,能够进行复杂的推理和反思。在标签内对查询进行推理,然后在标签内提供你的最终回应。如果你发现自己在任何时候推理出错,请在标签内纠正自己。)

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

此外值得一提的是,基准测试中,所有基准都已通过 LMSys 的 LLM Decontaminator 检查污染,隔离了 部分,并单独对这一部分进行测试。

使用 Reflection 70B 的时候,官方还分享了小 tips:

初步建议参数 temperature 为 .7 , top_p 为 .95

为提高准确性,最好附加 “Think carefully.” 在 Prompt 末尾

官方还表示,下周会发布一份报告,详细介绍模型训练过程和发现。

Agent 创业团队打造

Reflection 70B 的背后是一支小团队,由 HyperWriteAI 的 CEO Mutt Shumer带领。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

领英显示,Mutt Shumer 是一位连续创业者,毕业于美国锡拉丘兹大学,现任 OthersideAI 的联合创始人兼 CEO。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

OthersideAI 是一家 AI 应用公司,致力于通过大规模 AI 系统开发全球最先进的自动补全工具,也是 HyperWrite 的幕后公司。

HyperWrite 是一个浏览器操作 agent,可以像人一样操作谷歌浏览器来完成一系列任务,比如订披萨:

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

和 gpt-llm-trainer 一样,你只需要用文字描述目标,它就会一边列步骤,一边执行。

刚推出时号称 ” 比 AutoGPT 强 “。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

 HyperWrite 还可以在谷歌扩展程序中安装。

另外,Mutt Shumer 高中时期就创立了 Visos,致力于开发用于医疗用途的下一代虚拟现实软件。

还创立了 FURI,这是一家旨在通过创造高性能产品并以公平的价格销售它们来颠覆体育用品行业的公司。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

虽然有 Meta 支持,但目前打开试玩,还是:暂时无法访问。

 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

感兴趣的童鞋可以先码住了~

https://reflection-playground-production.up.railway.app/

参考链接:

[ 1 ] https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B

[ 2 ] https://x.com/mattshumer_/status/1831767014341538166

[ 3 ] https://x.com/polynoamial/status/1831798985528635806

[ 4 ] https://x.com/degeneratoor/status/1831809610451448196

[ 5 ] https://x.com/kimmonismus/status/1831772661296345333

以上就是开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/7832.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
hive mysql中没有表是为什么?
上一篇 2026年11月13日 06:43:20
安卓手机蓝屏后数据如何备份?安全操作指南
下一篇 2025年11月9日 13:09:21

相关推荐

  • 谷歌浏览器怎么更新到最新版本_谷歌浏览器版本更新操作指南

    谷歌浏览器怎么更新到最新版本_谷歌浏览器版本更新操作指南谷歌浏览器怎么更新到最新版本_谷歌浏览器版本更新操作指南谷歌浏览器怎么更新到最新版本_谷歌浏览器版本更新操作指南谷歌浏览器怎么更新到最新版本_谷歌浏览器版本更新操作指南

    1、谷歌浏览器功能异常可能因版本过旧,需及时更新以获取最新功能和安全补丁。2、可通过浏览器设置中“关于Google Chrome”自动检查并安装更新,或前往官网手动下载最新安装包覆盖安装,确保版本最新且数据保留。 如果您发现谷歌浏览器的功能异常或无法兼容某些新网页技术,可能是因为浏览器版本过旧。及时…

    2026年11月13日 • 用户投稿
    200
  • 大众汽车豪掷 10 亿欧元布局人工智能

    大众汽车豪掷 10 亿欧元布局人工智能大众汽车豪掷 10 亿欧元布局人工智能大众汽车豪掷 10 亿欧元布局人工智能大众汽车豪掷 10 亿欧元布局人工智能

    华尔街日报报道称,在德国慕尼黑国际车展首日,大众汽车宣布至2030年,将累计投入高达10亿欧元用于人工智能(ai)技术的全链条应用开发,覆盖从研发到生产的核心环节。这一举措被视为大众应对全球汽车产业电动化、智能化转型的关键落子。 大众汽车预计,到2035年,AI技术将为公司创造高达40亿欧元的效率提…

    2026年11月13日 • 用户投稿
    000
  • 阿联酋推出低成本 AI 推理模型,宣称“性价比”超同行 20 倍

    阿联酋推出低成本 AI 推理模型,宣称“性价比”超同行 20 倍阿联酋推出低成本 AI 推理模型,宣称“性价比”超同行 20 倍阿联酋推出低成本 AI 推理模型,宣称“性价比”超同行 20 倍阿联酋推出低成本 AI 推理模型,宣称“性价比”超同行 20 倍

    阿联酋穆罕默德·本·扎耶德人工智能大学(mbzuai)在官网宣布,其与g42共同推出了一款低成本的推理模型“k2 think”。 新闻稿声称,K2 Think仅需320亿个参数,却能超越其他公司的、规模大20倍的推理模型。该模型基于阿里巴巴开源Qwen 2.5模型构建,并在Cerebras提供的硬件…

    2026年11月13日 • 用户投稿
    000
  • 微软新规:明年 2 月起员工每周至少三天到办公室上班

    微软新规:明年 2 月起员工每周至少三天到办公室上班微软新规:明年 2 月起员工每周至少三天到办公室上班微软新规:明年 2 月起员工每周至少三天到办公室上班微软新规:明年 2 月起员工每周至少三天到办公室上班

    感谢网友 咩咩洋 的线索分享! 9 月 10 日消息,微软人力资源执行副总裁 Amy Coleman 昨日在公司官网发布内部备忘录,正式宣布将从 2026 年起实施全新的“灵活办公”制度。 Coleman 指出,在人工智能快速发展的当下,微软正以前所未有的速度前进。回顾公司发展历程,许多关键性创新都…

    2026年11月12日 • 用户投稿
    100
  • 微软揭秘:Windows 11 23H2功能,早在22H2中率先呈现

    微软揭秘:Windows 11 23H2功能,早在22H2中率先呈现微软揭秘:Windows 11 23H2功能,早在22H2中率先呈现微软揭秘:Windows 11 23H2功能,早在22H2中率先呈现微软揭秘:Windows 11 23H2功能,早在22H2中率先呈现

    N软网报道,回顾2023年9月,微软推出了一系列令人瞩目的Windows 11更新。在9月15日,微软发布了Windows 11 22H2测试版Build 22621.2359,该版本处于Release Preview通道,并且包含了KB5030310更新。值得注意的是,这次更新的PSF文件大小增加…

    2026年11月12日 • 用户投稿
    000
  • 谷歌浏览器怎么禁用QUIC协议_谷歌浏览器QUIC协议禁用操作步骤

    谷歌浏览器怎么禁用QUIC协议_谷歌浏览器QUIC协议禁用操作步骤谷歌浏览器怎么禁用QUIC协议_谷歌浏览器QUIC协议禁用操作步骤谷歌浏览器怎么禁用QUIC协议_谷歌浏览器QUIC协议禁用操作步骤谷歌浏览器怎么禁用QUIC协议_谷歌浏览器QUIC协议禁用操作步骤

    首先通过chrome://flags禁用QUIC协议,进入Flags页面找到“实验性QUIC协议”设为已禁用并重启浏览器;其次可通过命令行参数–disable-quic添加至Chrome快捷方式目标路径中,实现启动时禁用QUIC,解决SSL连接错误问题。 如果您在使用谷歌浏览器访问某些网…

    2026年11月12日 • 用户投稿
    000
  • 谷歌浏览器怎么恢复关闭的标签页_谷歌浏览器撤销关闭标签页快捷方法

    谷歌浏览器怎么恢复关闭的标签页_谷歌浏览器撤销关闭标签页快捷方法谷歌浏览器怎么恢复关闭的标签页_谷歌浏览器撤销关闭标签页快捷方法谷歌浏览器怎么恢复关闭的标签页_谷歌浏览器撤销关闭标签页快捷方法谷歌浏览器怎么恢复关闭的标签页_谷歌浏览器撤销关闭标签页快捷方法

    使用Ctrl+Shift+T可快速恢复最近关闭的标签页,连续按键能逐个恢复多个页面;02. 在标签栏空白处右键选择“重新打开已关闭的标签页”即可还原;03. 新标签页底部的“最近关闭的标签页”列表支持一键恢复;04. 通过历史记录(Ctrl+H)可查找并重新打开更早前关闭的网页。 如果您在浏览网页时…

    2026年11月12日 • 用户投稿
    100
  • 腾讯朱雀AI登录入口 朱雀大模型官网检测平台

    腾讯朱雀AI登录入口是https://matrix.tencent.com/ai-detect/,用户可通过该官网使用文本与图像检测功能,平台基于先进AI模型训练,支持识别AI生成内容,适用于教育、媒体、内容审核等场景。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 Deep…

    2026年11月12日
    000
  • 高效能本地加速!华硕5070大师显卡 助力 OpenAI 潜力释放

    高效能本地加速!华硕5070大师显卡 助力 OpenAI 潜力释放高效能本地加速!华硕5070大师显卡 助力 OpenAI 潜力释放高效能本地加速!华硕5070大师显卡 助力 OpenAI 潜力释放高效能本地加速!华硕5070大师显卡 助力 OpenAI 潜力释放

    openai 正在引领开源软件的革新浪潮,向全球展示基于 nvidia ai 构建技术的强大潜能。通过与 openai 的紧密合作,nvidia 已针对自家 gpu 对其全新的开源 gpt-oss 模型进行了深度优化,实现了从云端到个人电脑端的高效智能推理! OpenAI 为全球数百万用户带来了前沿…

    2026年11月12日 • 用户投稿
    100
  • 微软豪掷重金自研 AI 芯片集群,谋求技术自主能力

    微软豪掷重金自研 AI 芯片集群,谋求技术自主能力微软豪掷重金自研 AI 芯片集群,谋求技术自主能力微软豪掷重金自研 AI 芯片集群,谋求技术自主能力微软豪掷重金自研 AI 芯片集群,谋求技术自主能力

    9 月 12 日消息,据 BusinessInsider 报道,微软 AI 部门 CEO 穆斯塔法・苏莱曼(Mustafa Suleyman)在一场内部会议上透露,公司正计划“大规模投资”建设专属的 AI 芯片集群,目标是实现人工智能核心技术的“自主可控”。 长期以来,微软在 AI 战略上高度依赖与…

    2026年11月12日 • 用户投稿
    000
  • 2025服贸会:墨迹天气以AI驱动气象科技赋能千行百业,助力绿色可持续发展

    2025服贸会:墨迹天气以AI驱动气象科技赋能千行百业,助力绿色可持续发展2025服贸会:墨迹天气以AI驱动气象科技赋能千行百业,助力绿色可持续发展2025服贸会:墨迹天气以AI驱动气象科技赋能千行百业,助力绿色可持续发展2025服贸会:墨迹天气以AI驱动气象科技赋能千行百业,助力绿色可持续发展

    9月10日,2025年中国国际服务贸易交易会(简称“服贸会”)在北京首钢园正式拉开帷幕。国内领先的综合气象服务平台墨迹天气集中展示了其在商业气象服务领域的最新技术突破与多元化应用场景,充分体现了气象科技在推动各行业数字化升级、助力绿色低碳发展中的关键作用。 赋能多元产业,释放气象数据的商业潜能 秉持…

    2026年11月12日 • 用户投稿
    000
  • 谷歌浏览器怎么导出书签_谷歌浏览器书签导出为HTML文件教程

    谷歌浏览器怎么导出书签_谷歌浏览器书签导出为HTML文件教程谷歌浏览器怎么导出书签_谷歌浏览器书签导出为HTML文件教程谷歌浏览器怎么导出书签_谷歌浏览器书签导出为HTML文件教程谷歌浏览器怎么导出书签_谷歌浏览器书签导出为HTML文件教程

    首先通过书签管理器导出HTML文件:打开Chrome菜单→书签→管理书签→点击“导出书签”按钮,即可下载标准HTML格式的书签文件用于备份或迁移。 如果您希望将谷歌浏览器中的书签保存为HTML文件以便备份或迁移到其他浏览器,可以通过内置的书签管理功能完成此操作。以下是具体执行步骤。 本文运行环境:W…

    2026年11月12日 • 用户投稿
    300
  • 龙腾出行战略聚焦AI驱动 重塑全球旅行与生活方式服务生态

    龙腾出行战略聚焦AI驱动  重塑全球旅行与生活方式服务生态龙腾出行战略聚焦AI驱动  重塑全球旅行与生活方式服务生态龙腾出行战略聚焦AI驱动  重塑全球旅行与生活方式服务生态龙腾出行战略聚焦AI驱动  重塑全球旅行与生活方式服务生态

    2025年9月8日,龙腾出行在广州广交会展馆隆重举办“龙腾二十载·焕然启新程——全球品牌焕新暨ai战略发布会”,正式宣布全面启动“ai驱动”战略,推动其全球服务平台由数字化迈向智能化的全新阶段。中国民用机场协会理事长王瑞萍充分肯定了龙腾出行二十年来在提升机场服务品质与旅客出行体验方面所作出的重要贡献…

    2026年11月12日 • 用户投稿
    500
  • 韩国议员参访北京小米工厂:小米的技术实力让人叹为观止

    韩国议员参访北京小米工厂:小米的技术实力让人叹为观止韩国议员参访北京小米工厂:小米的技术实力让人叹为观止韩国议员参访北京小米工厂:小米的技术实力让人叹为观止韩国议员参访北京小米工厂:小米的技术实力让人叹为观止

    9月12日消息,据北京日报官微报道,9月10日至13日,韩国釜山市政府携手釜山全球城市财团组织了一个由38人组成的代表团访问北京。 此次访京团由釜山市议会议员黄锡七率领,成员涵盖釜山市政府官员、财团代表、企业界人士及青年代表,主要聚焦于推进产业对接以及深化企业间的交流与合作。 9月11日,代表团实地…

    2026年11月12日 • 用户投稿
    700
  • 育碧CEO:将利用AI打造更智能、动态的开放世界游戏!

    育碧CEO:将利用AI打造更智能、动态的开放世界游戏!育碧CEO:将利用AI打造更智能、动态的开放世界游戏!育碧CEO:将利用AI打造更智能、动态的开放世界游戏!育碧CEO:将利用AI打造更智能、动态的开放世界游戏!

    在近日于沙特阿拉伯举行的全球新体育大会上,育碧董事长伊夫·吉列莫特透露,公司正计划借助人工智能(AI)技术来优化游戏中NPC的交互表现,并提升开放世界对玩家行动的实时响应能力。 他表示,AI有望打造更贴近真实人类行为的角色体验。举例来说,玩家未来可在游戏中与历史人物进行深度互动,系统将基于该人物的历…

    2026年11月12日 • 用户投稿
    100
  • 蚂蚁与中国人民大学发布首个原生 MoE 扩散语言模型

    蚂蚁与中国人民大学发布首个原生 MoE 扩散语言模型蚂蚁与中国人民大学发布首个原生 MoE 扩散语言模型蚂蚁与中国人民大学发布首个原生 MoE 扩散语言模型蚂蚁与中国人民大学发布首个原生 MoE 扩散语言模型

    蚂蚁集团联合中国人民大学正式发布业界首个基于原生MoE架构的扩散语言模型(dLLM)——“LLaDA-MoE”。 该模型采用非自回归的掩码扩散机制,突破了传统语言模型依赖自回归生成的固有范式,在上下文学习、指令理解、代码生成与数学推理等多项核心能力上达到与Qwen2.5系列相当的水平,有力挑战了“语…

    2026年11月12日 • 用户投稿
    100
  • 谷歌浏览器下载文件总是失败如何解决

    谷歌浏览器下载文件总是失败如何解决谷歌浏览器下载文件总是失败如何解决谷歌浏览器下载文件总是失败如何解决谷歌浏览器下载文件总是失败如何解决

    当您在谷歌浏览器中下载文件时反复遇到失败,这通常是由于网络连接不稳定、安全软件拦截、浏览器缓存损坏或目标文件夹权限问题所导致的。本文将提供一套系统的排查方案,从检查外部环境到调整浏览器内部设置,帮助您定位并解决持续性的下载失败问题。 检查网络连接与安全软件 1、首先,请确保您的网络连接是稳定且通畅的…

    2026年11月12日 • 用户投稿
    100
  • 支付宝推出国内首个“AI 付”:率先登陆瑞幸咖啡,动动嘴就能下单支付

    支付宝推出国内首个“AI 付”:率先登陆瑞幸咖啡,动动嘴就能下单支付支付宝推出国内首个“AI 付”:率先登陆瑞幸咖啡,动动嘴就能下单支付支付宝推出国内首个“AI 付”:率先登陆瑞幸咖啡,动动嘴就能下单支付支付宝推出国内首个“AI 付”:率先登陆瑞幸咖啡,动动嘴就能下单支付

    9 月 11 日消息,在今日举行的 2025 inclusion・外滩大会上,支付宝正式发布国内首个“ai 付”服务,面向 ai 时代为智能体提供完整的支付解决方案。该服务已率先接入瑞幸咖啡的 ai 点单助手“lucky ai”。 据官方介绍,用户可通过瑞幸支付宝小程序或瑞幸咖啡 App,以语音对话…

    2026年11月12日 • 用户投稿
    000
  • 探索希望家园的秘密!文字冒险游戏《海默2000》试玩版现已上线

    探索希望家园的秘密!文字冒险游戏《海默2000》试玩版现已上线探索希望家园的秘密!文字冒险游戏《海默2000》试玩版现已上线探索希望家园的秘密!文字冒险游戏《海默2000》试玩版现已上线探索希望家园的秘密!文字冒险游戏《海默2000》试玩版现已上线

    由dobell工作室打造,indienova负责发行的多交互形式文字冒险游戏《海默2000》今日正式在steam平台上线试玩版本。 Steam商店页面:《海默2000》 游戏预告片: 《海默2000》是一款强调互动性的文字冒险作品。玩家将扮演一名回收员弗兰克,前往“希望家园”的废墟执行任务,目标是取…

    2026年11月11日 • 用户投稿
    200
  • ​消息称软银批准对 OpenAI 追加 225 亿美元投资

    据报道,软银集团已正式批准向 %ignore_a_1% 追加225亿美元的投资,旨在完成其对这家人工智能公司的总投资计划,金额高达300亿美元。这一决策获得了软银董事会的背书,但前提是 openai 必须在年底前完成企业重组,为其潜在的公开募股(ipo)铺平道路。 截至目前,该消息尚未获得软银与 O…

    2026年11月11日
    2200

发表回复

登录后才能评论
关注微信