1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
本文作者来自于上海交通大学人工智能学院的Multi-Agent Governance & Intelligence Crew (MAGIC团队)和牛津大学。共同第一作者有唐铄、庞祥鹤、刘泽希和唐博瀚。指导老师包括上海交大的王延峰教授、陈思衡副教授,以及牛津大学的董晓文副教授。
随着大语言模型(LLMs)在处理复杂任务中的广泛应用,高质量数据的获取变得尤为关键。为了确保模型能够准确理解并执行用户指令,模型必须依赖大量真实且多样化的数据进行后训练。然而,获取此类数据往往伴随着高昂的成本和数据稀缺性。因此,如何有效生成能够反映现实需求的高质量合成数据,成为了当前亟需解决的核心挑战。
那么,真实数据的需求是如何产生的?设想一位程序员在进行机器学习模型的开发与调优时,他会提出问题:「如何调整超参数以提高模型预测准确率?」 这种指令并非凭空而来,而是源于他所处的具体工作情境 —— 数据分析和模型优化。同样,用户在日常生活中的指令无论是编程任务、医疗诊断还是商业决策,往往与他们所面临的具体场景密切相关。要生成能够真实反映用户需求的合成数据,必须从这些实际情境中出发,模拟出与用户需求相匹配的场景。
基于这一理念,上海交通大学与牛津大学的研究团队提出了一项创新方案 —— 基于多智能体模拟的数据合成。团队提出了 MATRIX——AI 社会模拟器,构建了一个由 1000 多个 AI 智能体组成的模拟社会。在这个模拟社会中,每一个 AI 智能体代表了一个拥有独立身份和人格的数字人,这些 AI 智能体可以模拟出复杂的交流和互动模式,涵盖了从软件开发到商业活动的广泛场景。基于这些场景,团队进一步开发了 MATRIX-Gen 数据合成器,能够根据不同需求合成高度多样化且高质量的训练指令数据。
1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化
论文链接:https://arxiv.org/pdf/2410.14251
代码主页:https://github.com/ShuoTang123/MATRIX-Gen
为验证 MATRIX-Gen 合成数据的高质量,研究团队使用 Llama-3-8B-Instruct 驱动社会模拟,仅合成了 2 万条数据用于训练 Llama-3-8B-Base 模型。尽管数据量极少,训练后的模型在 AlpacaEval 2 和 Arena-Hard 基准测试中竟然大幅超越了 Llama-3-8B-Instruct 自身。这一结果不仅证明了 MATRIX-Gen 合成数据的高效性,也标志着模型在合成数据驱动下实现了自我进化。此外,在代码生成、多轮对话和安全性任务上,MATRIX-Gen 生成的专用数据同样表现优异,甚至超越了为这些特定任务设计的专用数据集。这项研究为通过合成数据提升大语言模型性能提供了全新的解决方案,展示了 AI 模拟社会在数据合成中的巨大潜力,为未来大语言模型的后训练数据合成开辟了创新的路径。
基于合成数据的后训练系统
本研究提出的后训练系统旨在利用基于多智能体模拟技术构建的 AI 模拟社会,合成高质量的训练数据,以提升预训练大语言模型的指令跟随能力。该系统的核心理念源于人类在现实场景中提问的方式 —— 人们基于自身需求提出多样且深入的问题。因此,本研究通过 AI 模拟社会合成人类社会中的场景,并利用这些场景引导 LLM 提出信息丰富、贴近现实的问题,从而产生高质量的训练数据。
如下图所示,该系统包含三个步骤:
1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化
1. 合成社会场景:利用多智能体模拟技术构建 AI 模拟社会,该社会中的每个场景由一组 AI 智能体及其对应的文本行动构成。为了确保社会场景的真实性和多样性,本研究设计了大规模人类社会模拟器 MATRIX,创建了一个包含各种 AI 智能体的互动环境。此模拟器充分发挥了 LLM 的角色扮演能力,使得 AI 智能体能够逼真地模拟人类行为,进行规划、观察和行动,进而生成丰富且高度真实的社会场景。
2. 合成训练数据:根据合成的社会场景,生成符合任务需求的后训练数据。本研究设计了场景驱动的指令生成器 MATRIX-Gen,模拟人类在日常生活中提出问题的过程,结合场景生成指令,确保更高的真实性;通过选择特定场景,能够合成符合任务需求的数据,具备可控性。这一步骤合成包括 SFT、DPO 以及各种专用数据集。
3. 模型微调:利用合成的 SFT 数据集,对预训练模型进行监督微调,以获得具备指令跟随能力的模型。随后,基于合成的偏好数据集,采用 DPO 进一步训练模型。
AI 社会模拟器 MATRIX
为了合成多样且丰富的场景,以助力数据的合成,本研究提出了人类社会模拟器 MATRIX。该模拟器的输入为若干 AI 智能体档案,输出为文本形式的场景。通过模拟人类的 AI 智能体和结构化的通信机制,MATRIX 实现了大规模的人类社会模拟,从而生成多样且真实的场景。
1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化
模拟人类的智能体:每个 AI 智能体根据匿名化的真实人类档案进行初始化,并由 LLM 生成其个性和人生目标。这些目标进一步分解为可执行的步骤,形成 AI 智能体的行动计划。例如,一个医学教授的生活目标可能包括传播科学知识,而其计划则包括进行研究、发表论文、进行讲座和组织教育项目。这些步骤指导 AI 智能体未来的行动,确保它们朝着目标努力并展现出有目的的行为。当出现新观察时,AI 智能体会根据其记忆和个性做出反应;在没有新观察的情况下,它们则遵循既定计划追求目标。
结构化的通信机制:受人类社会中同质性现象的启发,我们根据相似特征对 AI 智能体进行分组,以减少不必要的连接,从而提高模拟的可扩展性。在每组中,本研究引入一个集中调节器来管理组内和组间的沟通。这一设计促进了相似 AI 智能体之间的更多互动,同时仍允许长距离交流,丰富信息流并增强真实性。此外,这种结构化通信机制能够防止 AI 智能体接收到过多无关信息,确保模拟的有效性。
数据合成器 MATRIX-Gen
在合成了真实多样化的社会场景后,本研究设计了场景驱动的指令生成器 MATRIX-Gen,以满足特定任务需求并合成后训练数据。通过选择与用户需求相关的场景,MATRIX-Gen 能够生成符合人类意图的指令,从而确保合成指令的真实性和可控性。
如下图所示,在合成后训练数据的过程中,MATRIX-Gen 模拟了人类提问的过程。针对不同数据场景的需求(如通用任务或代码任务),MATRIX-Gen 结合每个 AI 智能体的个性和行动,将这些信息整合到指令生成提示中,模拟人类在日常生活中提出问题的方式。随后,基于上述指令生成提示,MATRIX-Gen 直接调用对齐的 LLM 生成合成指令及其对应的回答。
1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化
下图展示了一位 IT 经理在汽车数据分析场景下,提出「如何调整超参数以提高模型预测准确率」的例子:
1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化
通过这一方法,本研究能够合成三种类型的数据集,包括监督微调数据集 MATRIX-Gen-SFT、偏好调优数据集 MATRIX-Gen-DPO,以及特定领域的 SFT 数据。每种数据集的指令生成在复杂性和专业性上各具特点,确保满足不同场景下的需求。
性能表现
在实验中,本研究选择 Llama-3-8B-Instruct 作为数据合成模型,选择 Llama-3-8B 作为训练的模型,通过模型的训练效果评估 MATRIX-Gen 在通用任务、多轮对话、代码生成上的数据合成能力。
1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化
AlpacaEval 2 和 Arena-Hard 上的评估结果表明,通过多智能体模拟合成的 MATRIX-Gen-SFT 数据优于多个真实数据集以及合成数据集。
1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化
在 MATRIX-SFT 模型上 DPO 的训练结果表明,通过 MATRIX-Gen-DPO 训练的模型超越多种合成偏好数据训练的模型,以及 Llama-3-8B-Instruct。值得注意的是,MATRIX-Gen-DPO 训练后的模型总共仅使用了 2 万条合成数据,便实现了对 Llama-3-8B-Instruct 自身的超越,充分展示了其高质量和自我进化的能力。
1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化
在代码生成与安全输出的任务中,MATRIX-Gen 合成的数据集均超越了对应领域的专用数据集,显示出 MATRIX-Gen 在合成数据上的高可控性。
1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化
上图展示了 MATRIX-Gen-SFT 合成指令的可视化,显示出合成数据的多样性。
总结与展望
本研究提出了一种基于 AI 智能体社会模拟的后训练数据合成框架。依托 MATRIX 合成的 AI 模拟社会,MATRIX-Gen 能够可控地合成高质量的多样数据。在通用和专用任务中,仅使用 0.2% 的数据,即可获得优于大模型研发领军团队 Meta AI 所用数据集的模型训练效果,突显了 MATRIX-Gen 在数据合成中的优势。
本研究希望该数据合成框架能够帮助定量研究何种类型的数据更适合用于监督微调和偏好优化,深入探讨不同数据特性对模型性能的影响。此外,我们展望通过引入更强大的 AI 智能体,如具备工具调用能力的 AI 智能体,以及接入更丰富的环境,进一步合成更复杂的数据,从而提升大语言模型在复杂任务中的表现。

以上就是1000多个智能体组成,AI社会模拟器MATRIX-Gen助力大模型自我进化的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/411733.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月6日 23:33:56
下一篇 2025年11月6日 23:37:52

相关推荐

  • Uniapp 中如何不拉伸不裁剪地展示图片?

    灵活展示图片:如何不拉伸不裁剪 在界面设计中,常常需要以原尺寸展示用户上传的图片。本文将介绍一种在 uniapp 框架中实现该功能的简单方法。 对于不同尺寸的图片,可以采用以下处理方式: 极端宽高比:撑满屏幕宽度或高度,再等比缩放居中。非极端宽高比:居中显示,若能撑满则撑满。 然而,如果需要不拉伸不…

    2025年12月24日
    400
  • 如何让小说网站控制台显示乱码,同时网页内容正常显示?

    如何在不影响用户界面的情况下实现控制台乱码? 当在小说网站上下载小说时,大家可能会遇到一个问题:网站上的文本在网页内正常显示,但是在控制台中却是乱码。如何实现此类操作,从而在不影响用户界面(UI)的情况下保持控制台乱码呢? 答案在于使用自定义字体。网站可以通过在服务器端配置自定义字体,并通过在客户端…

    2025年12月24日
    800
  • 如何在地图上轻松创建气泡信息框?

    地图上气泡信息框的巧妙生成 地图上气泡信息框是一种常用的交互功能,它简便易用,能够为用户提供额外信息。本文将探讨如何借助地图库的功能轻松创建这一功能。 利用地图库的原生功能 大多数地图库,如高德地图,都提供了现成的信息窗体和右键菜单功能。这些功能可以通过以下途径实现: 高德地图 JS API 参考文…

    2025年12月24日
    400
  • 如何使用 scroll-behavior 属性实现元素scrollLeft变化时的平滑动画?

    如何实现元素scrollleft变化时的平滑动画效果? 在许多网页应用中,滚动容器的水平滚动条(scrollleft)需要频繁使用。为了让滚动动作更加自然,你希望给scrollleft的变化添加动画效果。 解决方案:scroll-behavior 属性 要实现scrollleft变化时的平滑动画效果…

    2025年12月24日
    000
  • 如何为滚动元素添加平滑过渡,使滚动条滑动时更自然流畅?

    给滚动元素平滑过渡 如何在滚动条属性(scrollleft)发生改变时为元素添加平滑的过渡效果? 解决方案:scroll-behavior 属性 为滚动容器设置 scroll-behavior 属性可以实现平滑滚动。 html 代码: click the button to slide right!…

    2025年12月24日
    500
  • 如何选择元素个数不固定的指定类名子元素?

    灵活选择元素个数不固定的指定类名子元素 在网页布局中,有时需要选择特定类名的子元素,但这些元素的数量并不固定。例如,下面这段 html 代码中,activebar 和 item 元素的数量均不固定: *n *n 如果需要选择第一个 item元素,可以使用 css 选择器 :nth-child()。该…

    2025年12月24日
    200
  • 使用 SVG 如何实现自定义宽度、间距和半径的虚线边框?

    使用 svg 实现自定义虚线边框 如何实现一个具有自定义宽度、间距和半径的虚线边框是一个常见的前端开发问题。传统的解决方案通常涉及使用 border-image 引入切片图片,但是这种方法存在引入外部资源、性能低下的缺点。 为了避免上述问题,可以使用 svg(可缩放矢量图形)来创建纯代码实现。一种方…

    2025年12月24日
    100
  • 如何让“元素跟随文本高度,而不是撑高父容器?

    如何让 元素跟随文本高度,而不是撑高父容器 在页面布局中,经常遇到父容器高度被子元素撑开的问题。在图例所示的案例中,父容器被较高的图片撑开,而文本的高度没有被考虑。本问答将提供纯css解决方案,让图片跟随文本高度,确保父容器的高度不会被图片影响。 解决方法 为了解决这个问题,需要将图片从文档流中脱离…

    2025年12月24日
    000
  • 为什么 CSS mask 属性未请求指定图片?

    解决 css mask 属性未请求图片的问题 在使用 css mask 属性时,指定了图片地址,但网络面板显示未请求获取该图片,这可能是由于浏览器兼容性问题造成的。 问题 如下代码所示: 立即学习“前端免费学习笔记(深入)”; icon [data-icon=”cloud”] { –icon-cl…

    2025年12月24日
    200
  • 如何利用 CSS 选中激活标签并影响相邻元素的样式?

    如何利用 css 选中激活标签并影响相邻元素? 为了实现激活标签影响相邻元素的样式需求,可以通过 :has 选择器来实现。以下是如何具体操作: 对于激活标签相邻后的元素,可以在 css 中使用以下代码进行设置: li:has(+li.active) { border-radius: 0 0 10px…

    2025年12月24日
    100
  • 如何模拟Windows 10 设置界面中的鼠标悬浮放大效果?

    win10设置界面的鼠标移动显示周边的样式(探照灯效果)的实现方式 在windows设置界面的鼠标悬浮效果中,光标周围会显示一个放大区域。在前端开发中,可以通过多种方式实现类似的效果。 使用css 使用css的transform和box-shadow属性。通过将transform: scale(1.…

    2025年12月24日
    200
  • 为什么我的 Safari 自定义样式表在百度页面上失效了?

    为什么在 Safari 中自定义样式表未能正常工作? 在 Safari 的偏好设置中设置自定义样式表后,您对其进行测试却发现效果不同。在您自己的网页中,样式有效,而在百度页面中却失效。 造成这种情况的原因是,第一个访问的项目使用了文件协议,可以访问本地目录中的图片文件。而第二个访问的百度使用了 ht…

    2025年12月24日
    000
  • 如何用前端实现 Windows 10 设置界面的鼠标移动探照灯效果?

    如何在前端实现 Windows 10 设置界面中的鼠标移动探照灯效果 想要在前端开发中实现 Windows 10 设置界面中类似的鼠标移动探照灯效果,可以通过以下途径: CSS 解决方案 DEMO 1: Windows 10 网格悬停效果:https://codepen.io/tr4553r7/pe…

    2025年12月24日
    000
  • 使用CSS mask属性指定图片URL时,为什么浏览器无法加载图片?

    css mask属性未能加载图片的解决方法 使用css mask属性指定图片url时,如示例中所示: mask: url(“https://api.iconify.design/mdi:apple-icloud.svg”) center / contain no-repeat; 但是,在网络面板中却…

    2025年12月24日
    000
  • 如何用CSS Paint API为网页元素添加时尚的斑马线边框?

    为元素添加时尚的斑马线边框 在网页设计中,有时我们需要添加时尚的边框来提升元素的视觉效果。其中,斑马线边框是一种既醒目又别致的设计元素。 实现斜向斑马线边框 要实现斜向斑马线间隔圆环,我们可以使用css paint api。该api提供了强大的功能,可以让我们在元素上绘制复杂的图形。 立即学习“前端…

    2025年12月24日
    000
  • 图片如何不撑高父容器?

    如何让图片不撑高父容器? 当父容器包含不同高度的子元素时,父容器的高度通常会被最高元素撑开。如果你希望父容器的高度由文本内容撑开,避免图片对其产生影响,可以通过以下 css 解决方法: 绝对定位元素: .child-image { position: absolute; top: 0; left: …

    2025年12月24日
    000
  • CSS 帮助

    我正在尝试将文本附加到棕色框的左侧。我不能。我不知道代码有什么问题。请帮助我。 css .hero { position: relative; bottom: 80px; display: flex; justify-content: left; align-items: start; color:…

    2025年12月24日 好文分享
    200
  • HTML、CSS 和 JavaScript 中的简单侧边栏菜单

    构建一个简单的侧边栏菜单是一个很好的主意,它可以为您的网站添加有价值的功能和令人惊叹的外观。 侧边栏菜单对于客户找到不同项目的方式很有用,而不会让他们觉得自己有太多选择,从而创造了简单性和秩序。 今天,我将分享一个简单的 HTML、CSS 和 JavaScript 源代码来创建一个简单的侧边栏菜单。…

    2025年12月24日
    200
  • 前端代码辅助工具:如何选择最可靠的AI工具?

    前端代码辅助工具:可靠性探讨 对于前端工程师来说,在HTML、CSS和JavaScript开发中借助AI工具是司空见惯的事情。然而,并非所有工具都能提供同等的可靠性。 个性化需求 关于哪个AI工具最可靠,这个问题没有一刀切的答案。每个人的使用习惯和项目需求各不相同。以下是一些影响选择的重要因素: 立…

    2025年12月24日
    300
  • 带有 HTML、CSS 和 JavaScript 工具提示的响应式侧边导航栏

    响应式侧边导航栏不仅有助于改善网站的导航,还可以解决整齐放置链接的问题,从而增强用户体验。通过使用工具提示,可以让用户了解每个链接的功能,包括设计紧凑的情况。 在本教程中,我将解释使用 html、css、javascript 创建带有工具提示的响应式侧栏导航的完整代码。 对于那些一直想要一个干净、简…

    2025年12月24日
    000

发表回复

登录后才能评论
关注微信