MineWorld— 微软研究院开源的实时交互式世界模型

mineworld是由微软研究院开源的一个基于《我的世界》(minecraft)的实时交互式世界模型。它利用视觉-动作自回归transformer架构,将游戏场景和动作转化为离散的token id,通过预测下一个token进行训练。模型采用了并行解码算法,实现了每秒4至7帧的生成速度,支持实时互动。mineworld在视频质量、可控性和推理速度方面都优于现有模型,如oasis。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

MineWorld— 微软研究院开源的实时交互式世界模型

MineWorld的主要功能包括:

高生成质量:通过视觉-动作自回归Transformer,MineWorld能够根据视觉和动作生成连贯且高保真的游戏帧。强可控性:模型在动作跟随能力的基准测试中表现出色,能够精确且一致地根据输入动作生成游戏场景。快速推理速度:利用并行解码算法,模型能够以每秒4至7帧的速度生成图像,支持实时互动。作为游戏代理:在训练过程中,MineWorld同时预测游戏状态和动作,可以作为独立的游戏代理进行自主游戏。实时交互能力:用户可以通过Web演示或本地运行与模型进行实时互动,选择初始帧、控制相机移动并执行游戏动作。

MineWorld的技术原理如下:

云雀语言模型 云雀语言模型

云雀是一款由字节跳动研发的语言模型,通过便捷的自然语言交互,能够高效的完成互动对话

云雀语言模型 54 查看详情 云雀语言模型 视觉-动作自回归Transformer:MineWorld通过将游戏场景和玩家动作转化为离散的token序列,实现视觉和动作的联合建模。具体包括:图像标记器(Visual Tokenizer):采用VQ-VAE架构,将游戏场景分割为离散的视觉标记。标记器从预训练的检查点开始,在Minecraft数据集上进行微调,以实现高质量的图像重建。动作标记器(Action Tokenizer):将玩家的连续动作(如鼠标移动)量化为离散的标记,将离散动作(如前进、攻击)归类为不同的类别,每个类别由唯一的标记表示。Transformer解码器:采用LLaMA架构,接收交错拼接的视觉标记和动作标记序列作为输入,通过下一个标记预测进行训练。解码器能够同时学习游戏状态的丰富表示以及状态和动作之间的条件关系。并行解码算法:为了实现实时交互,MineWorld开发了一种并行解码算法。算法利用相邻图像标记之间的空间依赖性,同时预测每帧中的空间冗余标记。与传统的自回归解码算法相比,显著提升了生成速度,使模型能够在不同规模下达到每秒4至7帧的生成速度。训练:模型通过下一个标记预测进行训练,学习游戏状态之间的动态演变规律以及动作与状态之间的关联。推理:在推理阶段,模型根据输入的当前游戏状态和动作,生成后续的游戏场景。并行解码算法的应用使得模型能够快速生成高质量的游戏帧。评估指标:MineWorld提出了新的评估指标,用于评估生成场景的视觉质量和动作跟随能力。例如,通过比较生成场景中预测的动作与输入的真实动作之间的准确性,来量化模型的可控性。

MineWorld的项目地址包括:

Github仓库:https://www.php.cn/link/299bb6d67f1bf42897291cc8f4aa3a95HuggingFace模型库:https://www.php.cn/link/c55da58933dadf65138cee2fe9a4169earXiv技术论文:https://www.php.cn/link/fd7b27cb8f482d541add663d421a0b5d

MineWorld的应用场景包括:

具身智能研究:MineWorld提供了一个高保真、可交互的虚拟环境,适合用于具身智能的研究。研究人员可以用模型训练智能体,学习在虚拟环境中执行任务,如物体定位导航和环境探索。强化学习训练:MineWorld的实时交互能力和高生成质量使其成为强化学习训练的理想平台。研究人员可以用模型快速生成大量的训练数据,帮助智能体在模拟环境中学习最优策略。游戏代理开发:由于MineWorld在训练过程中同时预测游戏状态和动作,具备作为游戏代理的潜力。给定初始游戏状态和动作,模型可以迭代生成未来的状态和动作,模拟长期的游戏过程。实时交互式模拟:MineWorld的快速推理速度(每秒4至7帧)能支持与游戏玩家的实时交互。视频生成与编辑:MineWorld能够生成高质量、连贯一致的游戏视频,可用于视频内容创作,例如生成游戏预告片和教学视频。

以上就是MineWorld— 微软研究院开源的实时交互式世界模型的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/264604.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
win10怎么查看产品密钥_win10查找Windows产品密钥的命令
上一篇 2026年10月12日 14:48:07
深入浅析Node中的Stream(流)
下一篇 2025年11月9日 16:35:52

相关推荐

  • Pulsar中间件入门学习

    Pulsar中间件入门学习Pulsar中间件入门学习Pulsar中间件入门学习Pulsar中间件入门学习

    pulsar 是一种高效的服务器到服务器消息系统,具有多租户和高性能等特点,最初由 yahoo 开发,现由 apache 软件基金会管理。它是 apache 的顶级项目,定位为下一代云原生分布式消息流平台,融合了消息传递、存储和轻量级函数计算功能,采用计算与存储分离的架构设计,支持多租户、持久化存储…

    2026年10月12日 • 用户投稿
    000
  • Java中Docker的作用 解析容器化

    Java中Docker的作用 解析容器化Java中Docker的作用 解析容器化Java中Docker的作用 解析容器化Java中Docker的作用 解析容器化

    docker通过容器化技术解决了java应用部署中的环境不一致问题,简化了部署流程并提高了可移植性。1. 它将java应用及其依赖打包到独立镜像中,确保在任何环境中都能一致运行;2. 通过自动化部署工具如jenkins实现ci/cd,减少手动配置带来的错误风险;3. 虽有轻微性能开销但通常可忽略,甚…

    2026年10月12日 • 用户投稿
    200
  • Composer中的^和~版本约束是什么意思_版本号约束规则深度解读

    Composer中的^和~版本约束是什么意思_版本号约束规则深度解读Composer中的^和~版本约束是什么意思_版本号约束规则深度解读Composer中的^和~版本约束是什么意思_版本号约束规则深度解读Composer中的^和~版本约束是什么意思_版本号约束规则深度解读

    答案:^允许主版本不变下的次版本和补丁更新,适用于遵循SemVer的稳定库;~更保守,通常只允许补丁更新,适合对更新敏感或处于0.x阶段的库。两者均在安全与更新间寻求平衡,结合composer.lock可确保依赖一致性,避免“依赖地狱”。 Composer中的 ^ (caret,脱字号)和 ~ (t…

    2026年10月12日 • 用户投稿
    100
  • 2025我的世界7月22日最新兑换码

    2025我的世界7月22日最新兑换码2025我的世界7月22日最新兑换码2025我的世界7月22日最新兑换码2025我的世界7月22日最新兑换码

    兑换码: EVeb276a106168920b8a319 Swapface人脸交换 一款创建逼真人脸交换的AI换脸工具 45 查看详情 使用方法:打开《我的世界》游戏,在主界面点击左上角的头像,进入个人中心。在个人中心页面的下方,你会找到一个名为“礼包兑换码”的入口。点击这个入口,输入你的兑换码并提…

    2026年10月12日 • 用户投稿
    000
  • Composer为什么建议提交composer.lock文件

    Composer为什么建议提交composer.lock文件Composer为什么建议提交composer.lock文件Composer为什么建议提交composer.lock文件Composer为什么建议提交composer.lock文件

    composer.lock 文件需提交至版本控制系统,以确保团队环境一致、生产环境稳定、构建可重复,并便于审查依赖变更,避免因依赖版本差异导致的问题。 在使用 Composer 管理 PHP 项目依赖时,composer.lock 文件的作用是记录当前项目所安装的依赖包及其精确版本号。虽然这个文件可…

    2026年10月12日 • 用户投稿
    200
  • VSCode如何实现代码气味检测 VSCode重构时机的智能识别方法

    vscode通过集成eslint、pylint、sonarlint等静态分析工具,实现对代码气味的实时检测,标记出未使用变量、重复代码、长函数等问题;2. 类型检查器如typescript能发现类型不匹配和潜在空引用,提升代码健壮性;3. 代码复杂度插件可量化圈复杂度,辅助识别高风险函数;4. 结合…

    2026年10月12日
    100
  • composer and git版本控制如何协同工作_Composer与Git结合进行项目版本管理的协作流程

    composer and git版本控制如何协同工作_Composer与Git结合进行项目版本管理的协作流程composer and git版本控制如何协同工作_Composer与Git结合进行项目版本管理的协作流程composer and git版本控制如何协同工作_Composer与Git结合进行项目版本管理的协作流程composer and git版本控制如何协同工作_Composer与Git结合进行项目版本管理的协作流程

    Composer与Git协同管理PHP项目依赖:初始化项目生成composer.json并提交;提交composer.lock确保依赖一致;.gitignore忽略vendor目录避免冗余;团队通过Git同步依赖变更;部署时用composer install还原依赖。 如果您在使用PHP项目开发时,…

    2026年10月12日 • 用户投稿
    800
  • Composer如何查看一个包的更新历史

    Composer如何查看一个包的更新历史Composer如何查看一个包的更新历史Composer如何查看一个包的更新历史Composer如何查看一个包的更新历史

    最直接的方法是通过源代码托管平台查看 Composer 包的更新历史。首先在 Packagist 中找到包的仓库地址,然后访问其 GitHub 或 GitLab 页面,查阅 CHANGELOG.md 文件或 Releases 版本发布说明,获取详细变更记录;也可通过 composer show 命令…

    2026年10月12日 • 用户投稿
    100
  • composer如何确保团队成员使用一致的依赖

    composer如何确保团队成员使用一致的依赖composer如何确保团队成员使用一致的依赖composer如何确保团队成员使用一致的依赖composer如何确保团队成员使用一致的依赖

    composer.lock文件是确保团队依赖一致的核心,因其记录了实际安装的精确版本,提交到版本控制后可保证所有成员通过composer install获得完全相同的依赖环境。 Composer确保团队成员使用一致依赖的核心机制,在于 composer.lock 文件。说白了,它就像一个精确的“依赖…

    2026年10月12日 • 用户投稿
    300
  • VSCode 怎样关闭编辑器的自动换行功能 VSCode 关闭自动换行功能的操作步骤​

    要关闭vs code的自动换行功能,1. 可通过设置界面搜索“word wrap”并设为“off”;2. 或直接在settings.json中添加”editor.wordwrap”: “off”;还可针对特定语言或项目设置,如在[json]中关闭、[m…

    2026年10月12日
    100
  • mac系统怎么安装composer_macOS环境下Composer的正确安装与配置方法

    mac系统怎么安装composer_macOS环境下Composer的正确安装与配置方法mac系统怎么安装composer_macOS环境下Composer的正确安装与配置方法mac系统怎么安装composer_macOS环境下Composer的正确安装与配置方法mac系统怎么安装composer_macOS环境下Composer的正确安装与配置方法

    首先通过Homebrew或官方脚本安装Composer,再配置环境变量确保全局可用,最后设置阿里云镜像加速依赖下载。 如果您在macOS系统中需要使用PHP的依赖管理工具,但尚未安装Composer,则可以通过以下步骤完成安装与配置。Composer能够帮助您轻松管理PHP项目中的依赖包。 本文运行…

    2026年10月12日 • 用户投稿
    100
  • Composer如何管理环境变量

    Composer如何管理环境变量Composer如何管理环境变量Composer如何管理环境变量Composer如何管理环境变量

    Composer不直接管理环境变量,而是通过安装vlucas/phpdotenv等工具间接支持;开发者需用composer require vlucas/phpdotenv安装依赖,并在代码中加载.env文件以读取变量;.env示例文件常用于提示配置,但敏感信息应避免提交版本库;生产环境推荐使用系统…

    2026年10月12日 • 用户投稿
    200
  • Llama 4 刷榜作弊引热议,20 万显卡集群就做出了个这?

    Llama 4 刷榜作弊引热议,20 万显卡集群就做出了个这?Llama 4 刷榜作弊引热议,20 万显卡集群就做出了个这?Llama 4 刷榜作弊引热议,20 万显卡集群就做出了个这?Llama 4 刷榜作弊引热议,20 万显卡集群就做出了个这?

    昨天一早,meta 了放出自家用了 20 万显卡集群训练出的 llama 4 系列模型,其中包括 llama 4 scout、llama 4 maverick 和 llama 4 behemoth。消息一出,直接引爆了大模型圈。 Meta 还特意强调,这些模型都经过了大量未标注的文本、图像和视频数据…

    2026年10月12日 • 用户投稿
    400
  • ChatTS-14B— 字节开源的时间序列理解和推理大模型

    ChatTS-14B— 字节开源的时间序列理解和推理大模型ChatTS-14B— 字节开源的时间序列理解和推理大模型ChatTS-14B— 字节开源的时间序列理解和推理大模型ChatTS-14B— 字节开源的时间序列理解和推理大模型

    ChatTS-14B是什么 chatts-14b 是字节跳动研究团队开源的专注于时间序列理解和推理的大型语言模型,参数量达 140 亿。基于 qwen2.5-14b-instruct 微调而成,通过合成数据对齐技术显著提升了在时间序列任务中的表现。模型支持自然语言交互,用户可以通过简单的指令完成对时…

    2026年10月12日 • 用户投稿
    300
  • composer.lock文件的作用是什么_composer.lock文件在依赖管理中的核心价值

    composer.lock文件的作用是什么_composer.lock文件在依赖管理中的核心价值composer.lock文件的作用是什么_composer.lock文件在依赖管理中的核心价值composer.lock文件的作用是什么_composer.lock文件在依赖管理中的核心价值composer.lock文件的作用是什么_composer.lock文件在依赖管理中的核心价值

    composer.lock 文件用于锁定 PHP 项目依赖版本,确保团队开发、生产部署及持续集成中依赖一致,提升安装效率并保障可重复构建。 如果您在使用 Composer 管理 PHP 项目的依赖时注意到项目根目录中存在一个名为 composer.lock 的文件,您可能会好奇它的实际用途。该文件并…

    2026年10月12日 • 用户投稿
    200
  • VSCode如何集成AI代码风格检查 VSCode自动化代码规范审查工具

    实现vscode中ai代码风格检查与自动化规范审查需结合规则型工具和ai辅助工具;2. 规则型工具如eslint、prettier、black等通过配置实现保存时自动格式化和错误提示,并可通过husky和lint-staged集成git hooks在提交前强制检查;3. ai辅助工具如github …

    2026年10月12日
    100
  • composer如何处理”Package not found”错误

    composer如何处理”Package not found”错误composer如何处理”Package not found”错误composer如何处理”Package not found”错误composer如何处理”Package not found”错误

    答案:Composer提示“Package not found”通常由包名拼写错误、版本约束不匹配、包不存在、repositories配置缺失或网络问题导致。首先检查composer.json中require部分的包名是否与Packagist完全一致,包括大小写和连字符;确认版本号是否存在且兼容,可…

    2026年10月12日 • 用户投稿
    100
  • Composer为什么需要composer.lock文件_版本锁定与可复现构建的重要性

    Composer为什么需要composer.lock文件_版本锁定与可复现构建的重要性Composer为什么需要composer.lock文件_版本锁定与可复现构建的重要性Composer为什么需要composer.lock文件_版本锁定与可复现构建的重要性Composer为什么需要composer.lock文件_版本锁定与可复现构建的重要性

    composer.lock文件确保依赖版本一致,实现可复现构建。它记录所有依赖的确切版本和哈希值,使composer install始终安装相同依赖,避免“在我机器上能跑”的问题。若不提交composer.lock,每次安装可能拉取不同版本,导致环境不一致、引入bug或安全漏洞。正确做法是:将com…

    2026年10月12日 • 用户投稿
    600
  • 2025我的世界7月23日最新兑换码

    2025我的世界7月23日最新兑换码2025我的世界7月23日最新兑换码2025我的世界7月23日最新兑换码2025我的世界7月23日最新兑换码

    兑换码: mc8tgd426w Swapface人脸交换 一款创建逼真人脸交换的AI换脸工具 45 查看详情 使用方法:打开《我的世界》游戏,在主界面点击左上角的头像,进入个人中心。在个人中心页面的下方,你会找到一个名为“礼包兑换码”的入口。点击这个入口,输入你的兑换码并提交。系统会自动处理并为你发…

    2026年10月12日 • 用户投稿
    000
  • 如何解决团队代码质量一致性难题?CaptainHook助你自动化GitHooks

    可以通过一下地址学习composer:学习地址 在我们的日常开发中,尤其是多人协作的项目,代码质量的参差不齐常常让人头疼。想象一下这样的场景:你刚完成了一个新功能,准备提交代码。突然,同事告诉你,他拉取了你的最新代码后,单元测试跑不通了,或者代码风格检查报告了一堆错误。这不仅打断了工作流,还增加了沟…

    2026年10月12日
    100

发表回复

登录后才能评论
关注微信