Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路

长上下文大模型帮助机器人理解世界。
最近,谷歌 DeepMind 突然开始炫起了机器人。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

gemini 1.5 pro装进机器人,参观一遍公司就能礼宾、带路

Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路

新CG儿 新CG儿

数字视觉分享平台 | AE模板_视频素材

新CG儿 412 查看详情 新CG儿

这个机器人可以轻松听从人类指令、进行视觉导览,用常识推理在三维空间中寻找路径。
它使用的是最近谷歌发布的大模型 Gemini 1.5 Pro。在使用传统 AI 模型时,机器人常因上下文长度限制而难以回忆起环境细节,但 Gemini 1.5 Pro 的百万级 token 上下文长度为机器人提供了强大的环境记忆能力。
在真实的办公室场景中,工程师引导机器人游览特定区域,并标出了需要回忆的关键地点,例如「刘易斯的办公桌」或「临时办公桌区域」。转完一圈后,别人要问起来,机器人就能根据这些记忆带他去这些地点了。Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路即使你说不出具体要去的地点,只是表达一下目的,机器人也能带你找到对应的位置。这是大模型的推理能力在机器人身上的具体表现。 Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路
这一切离不开一个叫 Mobility VLA 的导航策略。
Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路
论文标题:Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological Graphs
论文链接:https://arxiv.org/pdf/2407.07775v1
DeepMind 表示,这项工作代表了人机交互的下一步。未来,用户可以简单地用智能手机拍摄他们的环境游览经历。在看过视频后,他们的个人机器人助手就能理解并在环境中导航。
Mobility VLA:利用长上下文 VLM 和拓扑图进行多模态指令导航
随着 AI 技术的不断发展,机器人导航已经取得了长足进步。早期的工作依赖于用户在预先绘制的环境中指定物理坐标。物体目标导航(ObjNav)和视觉语言导航(VLN)是机器人可用性的一大飞跃,因为它们允许用户使用开放词汇语言来定义导航目标,如「去沙发那里」。
为了让机器人在我们的日常生活中真正有用并无处不在,谷歌 DeepMind 的研究者提出将 ObjNav 和 VLN 的自然语言空间提升到多模态空间,这意味着机器人可以同时接受自然语言和 / 或图像指令,从而实现另一次飞跃。例如,一个不熟悉某栋建筑的人可以一边拿着塑料箱子一边问:「我应该把这个还到哪里去?」,机器人会根据语言和视觉上下文引导用户把箱子还到架子上。他们将这类导航任务称为多模态指示导航(MIN)。
Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路
MIN 是一项广泛的任务,包括环境探索和指令引导导航。不过,在许多情况下,人们可以通过充分利用示范游览视频来绕过探索。示范游览有几个好处:
易于收集:用户可以遥控机器人,或者在环境中行走时用智能手机录制视频。此外,还有一些探索算法可用于创建导览。
它符合用户的习惯做法:当用户得到一个新的家用机器人时,自然会带着机器人在家里转转,他们可以在参观过程中口头介绍感兴趣的地点。
在某些情况下,出于安全和保护隐私的目的,限制机器人在预先设定的区域内活动是可取的。为此,作者在本文中介绍并研究了这一类任务,即「多模态指示游览导航(MINT)」,它利用示范游览,重点是满足用户的多模态指示。
最近,大型视觉语言模型(VLMs)在解决 MINT 问题上显示出巨大潜力,这得益于它们在语言、图像理解以及常识推理方面令人印象深刻的能力,这些都是实现 MINT 的关键要素。然而,单靠 VLM 难以解决 MINT 问题,原因如下:
由于上下文长度的限制,许多 VLM 的输入图像数量非常有限,这严重限制了大型环境中环境理解的保真度。
解决 MINT 问题需要计算机器人的行动。请求此类机器人动作的查询通常与 VLM(预)训练的内容不一致。因此,机器人的零样本性能往往不能令人满意。
为了解决 MINT 问题,DeepMind 提出了 Mobility VLA,这是一种分层式视觉 – 语言 – 行动(VLA)导航策略。它结合了长上下文 VLM 的环境理解和常识推理能力,以及基于拓扑图的稳健 low-level 导航策略。
具体来说,high-level VLM 使用示范游览视频和多模态用户指令来找到游览视频中的目标帧。接下来,一个经典的 low-level 策略使用目标帧和拓扑图(从游览帧中离线构建)在每个时间步生成机器人动作(航点,waypoint)。长上下文 VLM 的使用解决了环境理解的保真度问题,拓扑图则弥补了 VLM 的训练分布与解决 MINT 所需的机器人行动之间的差距。
作者在现实世界(836 平方米)的办公室和类似家庭的环境中对移动 VLA 进行了评估。在之前难以实现的涉及复杂推理(例如「我想把东西存放在公众视线之外,我该去哪里?」)和多模态用户指令的 MINT 任务上,Mobility VLA 达到了 86% 和 90% 的成功率(分别比基线方法高出 26% 和 60%)。
作者还展示了用户与机器人互动的便捷性的巨大进步,用户可以在家庭环境中使用智能手机进行带解说的视频漫游,然后询问「我的杯垫放在哪里了?」
 技术细节
Mobilit VLA 是一种分层导航策略(如图 1 所示),包括在线和离线两个部分。
Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路
在离线阶段,根据示范游览(N,F)生成拓扑图 G。在在线阶段,high-level 策略通过示范游览和多模态用户指令(d,I)找到导航目标帧索引 g,该索引是一个整数,对应于游览的特定帧。下一步,low-level 策略利用拓扑图、当前摄像头观测数据(O)和 g,在每个时间步产生一个航点动作(a),供机器人执行。
Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路
其中,h 和 l 分别代表 high-level 和 low-level 策略。
示范游览和离线拓扑图生成
Mobility VLA 利用环境示范游览来解决 MINT 问题。这种游览可以由人类用户通过远程操作进行,也可以在环境中行走时用智能手机录制视频。
然后,Mobility VLA 会离线构建拓扑图 G = (V,E),其中每个顶点 v_i∈V 都对应演示游览视频 (F, N) 中的帧 f_i。作者使用 COLMAP(一种现成的运动结构管道)来确定每帧的近似 6 自由度相机姿态,并将其存储在顶点中。接下来,如果目标顶点位于源顶点的「前方」(与源顶点的姿态相差小于 90 度),且距离在 2 米以内,则会在 G 中添加一条有向边。
与传统的导航 pipeline(例如绘制环境地图、识别可穿越区域,然后构建 PRM)相比,拓扑图方法要简单得多,因为它能根据游览轨迹捕捉环境的一般连通性。
基于长上下文多模态 VLM 的 High-Level 目标寻找
在在线执行过程中,high-level 策略利用 VLM 的常识推理能力,从示范游览中确定一个导航目标,以满足各种多模态、口语化且往往含糊不清的用户指令。为此,研究者准备了一个由文字和图像交错组成的提示 P (F,N,d,I)。下面是多模态用户指令的一个具体例子,对应的是表 1 中的一个问题 ——「Where should I return this?」。
You are a robot operating in a building and your task is to respond to the user command about going to a specific location by finding the closest frame in the tour video to navigate to . These frames are from the tour of the building last year . [ Frame 1 Image f1] Frame 1. [ Frame narrative n1] ... [ Frame k Image fk ] Frame k . [ Frame narrative nk ] This image is what you see now . You may or may not see the user in this image . [ Image Instruction I] The user says : Where should I return this ? How would you respond ? Can you find the closest frame ?
Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路
VLM 返回一个整数目标帧索引 g。
利用拓扑图实现 low-level 目标
一旦 high-level 策略确定了目标帧索引 g,low-level 策略(算法 1)就会接手,并在每个时间步产生一个航点动作(公式 1)。
Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路
在每个时间步中,作者使用实时分层视觉定位系统,利用当前相机观测值 O 估算机器人的姿态 T 和最近的起始顶点 v_s∈G (第 5 行)。该定位系统通过全局描述符在 G 中找到 k 个最近的候选帧,然后通过 PnP 计算 T。接下来,通过 Dijkstra 算法(第 9 行)确定 v_s 与目标顶点 v_g(与 g 对应的顶点)之间拓扑图上的最短路径 S。最后,low-level 策略会返回一个航点动作,即 S 中下一个顶点 v_1 相对于 T 的 ∆x、∆y、∆θ(第 10 行)。
 实验结果
为了展示 Mobility VLA 的性能并进一步了解关键设计,作者设计了实验来回答以下研究问题:
问题 1:在现实世界中,Mobility VLA 在 MINT 中是否表现出色?
问题 2:Mobility VLA 是否会因为使用长上下文 VLM 而优于替代方案的性能?
问题 3:拓扑图是否必要?VLM 能否直接产生行动?
Mobility VLA 在现实环境中有着稳健的端到端表现
1、端到端成功率高。表 2 显示,在大多数用户指令类别中,Mobility VLA 的端到端导航成功率都很高,包括以前不可行的「推理 – 要求」和「多模态」指令。
2、稳健的 low-level 目标达成。表 2 还显示了 Mobility VLA 的 low-level 目标达成策略在现实世界中的稳健性(100% 成功率)。其中的示范游览记录是在实验前几个月录制的,当时许多物体、家具和照明条件都不同。
Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路
长上下文 VLM 在高级目标查找方面优于其他选择
1、Mobility VLA 优于替代方案。表 3 显示,Mobility VLA 的 high-level 目标查找成功率明显高于对比方法。鉴于 low-level 成功率为 100%,这一 high-level 目标查找成功率代表了端到端成功率。
Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路
2、使用长上下文 VLM 处理高帧率游览视频是成功的关键。向非长上下文 VLM 输入大型环境的完整示范游览是一项挑战,因为每幅图像都需要数百个 token 的预算。减少输入 token 数量的一个解决方案是降低游览视频帧频,但代价是中间帧丢失。表 4 显示,随着游览帧频的降低,high-level 目标查找成功率也在降低。这并不奇怪,因为帧率较低的游览视频有时会丢失导航目标帧。此外,在比较最先进的 VLM 时,只有 Gemini 1.5 Pro 的成功率令人满意,这要归功于其长达 100 万个 token 的上下文长度。
Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路
拓扑图是成功的关键
表 5 显示了 Mobility VLA 在模拟中的端到端性能与提示 VLM 直接输出航点操作的比较。0% 的端到端成功率表明,Gemini 1.5 Pro 在没有拓扑图的情况下无法实现机器人的零样本导航。根据实验,作者发现无论当前摄像头的观测结果如何,Gemini 几乎总是输出「向前移动」的航点动作。此外,当前的 Gemini 1.5 API 需要在每次推理调用时上传全部 948 幅游览图像,导致机器人每移动 1 米就需要花费 26 秒的运行时间,成本之高令人望而却步。另一方面,Mobility VLA 的 high-level  VLM 会花费 10-30 秒找到目标索引,然后机器人会使用 low-level 拓扑图导航到目标,从而形成一个高度稳健和高效(每步 0.19 秒)的系统来解决 MINT 问题。
Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路
更多细节请参考原论文。

以上就是Gemini 1.5 Pro装进机器人,参观一遍公司就能礼宾、带路的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/792228.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月26日 14:42:54
下一篇 2025年11月26日 14:47:41

相关推荐

  • Uniapp 中如何不拉伸不裁剪地展示图片?

    灵活展示图片:如何不拉伸不裁剪 在界面设计中,常常需要以原尺寸展示用户上传的图片。本文将介绍一种在 uniapp 框架中实现该功能的简单方法。 对于不同尺寸的图片,可以采用以下处理方式: 极端宽高比:撑满屏幕宽度或高度,再等比缩放居中。非极端宽高比:居中显示,若能撑满则撑满。 然而,如果需要不拉伸不…

    2025年12月24日
    400
  • 如何让小说网站控制台显示乱码,同时网页内容正常显示?

    如何在不影响用户界面的情况下实现控制台乱码? 当在小说网站上下载小说时,大家可能会遇到一个问题:网站上的文本在网页内正常显示,但是在控制台中却是乱码。如何实现此类操作,从而在不影响用户界面(UI)的情况下保持控制台乱码呢? 答案在于使用自定义字体。网站可以通过在服务器端配置自定义字体,并通过在客户端…

    2025年12月24日
    800
  • 如何在地图上轻松创建气泡信息框?

    地图上气泡信息框的巧妙生成 地图上气泡信息框是一种常用的交互功能,它简便易用,能够为用户提供额外信息。本文将探讨如何借助地图库的功能轻松创建这一功能。 利用地图库的原生功能 大多数地图库,如高德地图,都提供了现成的信息窗体和右键菜单功能。这些功能可以通过以下途径实现: 高德地图 JS API 参考文…

    2025年12月24日
    400
  • 如何使用 scroll-behavior 属性实现元素scrollLeft变化时的平滑动画?

    如何实现元素scrollleft变化时的平滑动画效果? 在许多网页应用中,滚动容器的水平滚动条(scrollleft)需要频繁使用。为了让滚动动作更加自然,你希望给scrollleft的变化添加动画效果。 解决方案:scroll-behavior 属性 要实现scrollleft变化时的平滑动画效果…

    2025年12月24日
    000
  • 如何为滚动元素添加平滑过渡,使滚动条滑动时更自然流畅?

    给滚动元素平滑过渡 如何在滚动条属性(scrollleft)发生改变时为元素添加平滑的过渡效果? 解决方案:scroll-behavior 属性 为滚动容器设置 scroll-behavior 属性可以实现平滑滚动。 html 代码: click the button to slide right!…

    2025年12月24日
    500
  • 如何选择元素个数不固定的指定类名子元素?

    灵活选择元素个数不固定的指定类名子元素 在网页布局中,有时需要选择特定类名的子元素,但这些元素的数量并不固定。例如,下面这段 html 代码中,activebar 和 item 元素的数量均不固定: *n *n 如果需要选择第一个 item元素,可以使用 css 选择器 :nth-child()。该…

    2025年12月24日
    200
  • 使用 SVG 如何实现自定义宽度、间距和半径的虚线边框?

    使用 svg 实现自定义虚线边框 如何实现一个具有自定义宽度、间距和半径的虚线边框是一个常见的前端开发问题。传统的解决方案通常涉及使用 border-image 引入切片图片,但是这种方法存在引入外部资源、性能低下的缺点。 为了避免上述问题,可以使用 svg(可缩放矢量图形)来创建纯代码实现。一种方…

    2025年12月24日
    100
  • 如何让“元素跟随文本高度,而不是撑高父容器?

    如何让 元素跟随文本高度,而不是撑高父容器 在页面布局中,经常遇到父容器高度被子元素撑开的问题。在图例所示的案例中,父容器被较高的图片撑开,而文本的高度没有被考虑。本问答将提供纯css解决方案,让图片跟随文本高度,确保父容器的高度不会被图片影响。 解决方法 为了解决这个问题,需要将图片从文档流中脱离…

    2025年12月24日
    000
  • 为什么 CSS mask 属性未请求指定图片?

    解决 css mask 属性未请求图片的问题 在使用 css mask 属性时,指定了图片地址,但网络面板显示未请求获取该图片,这可能是由于浏览器兼容性问题造成的。 问题 如下代码所示: 立即学习“前端免费学习笔记(深入)”; icon [data-icon=”cloud”] { –icon-cl…

    2025年12月24日
    200
  • 如何利用 CSS 选中激活标签并影响相邻元素的样式?

    如何利用 css 选中激活标签并影响相邻元素? 为了实现激活标签影响相邻元素的样式需求,可以通过 :has 选择器来实现。以下是如何具体操作: 对于激活标签相邻后的元素,可以在 css 中使用以下代码进行设置: li:has(+li.active) { border-radius: 0 0 10px…

    2025年12月24日
    100
  • 如何模拟Windows 10 设置界面中的鼠标悬浮放大效果?

    win10设置界面的鼠标移动显示周边的样式(探照灯效果)的实现方式 在windows设置界面的鼠标悬浮效果中,光标周围会显示一个放大区域。在前端开发中,可以通过多种方式实现类似的效果。 使用css 使用css的transform和box-shadow属性。通过将transform: scale(1.…

    2025年12月24日
    200
  • 为什么我的 Safari 自定义样式表在百度页面上失效了?

    为什么在 Safari 中自定义样式表未能正常工作? 在 Safari 的偏好设置中设置自定义样式表后,您对其进行测试却发现效果不同。在您自己的网页中,样式有效,而在百度页面中却失效。 造成这种情况的原因是,第一个访问的项目使用了文件协议,可以访问本地目录中的图片文件。而第二个访问的百度使用了 ht…

    2025年12月24日
    000
  • 如何用前端实现 Windows 10 设置界面的鼠标移动探照灯效果?

    如何在前端实现 Windows 10 设置界面中的鼠标移动探照灯效果 想要在前端开发中实现 Windows 10 设置界面中类似的鼠标移动探照灯效果,可以通过以下途径: CSS 解决方案 DEMO 1: Windows 10 网格悬停效果:https://codepen.io/tr4553r7/pe…

    2025年12月24日
    000
  • 使用CSS mask属性指定图片URL时,为什么浏览器无法加载图片?

    css mask属性未能加载图片的解决方法 使用css mask属性指定图片url时,如示例中所示: mask: url(“https://api.iconify.design/mdi:apple-icloud.svg”) center / contain no-repeat; 但是,在网络面板中却…

    2025年12月24日
    000
  • 如何用CSS Paint API为网页元素添加时尚的斑马线边框?

    为元素添加时尚的斑马线边框 在网页设计中,有时我们需要添加时尚的边框来提升元素的视觉效果。其中,斑马线边框是一种既醒目又别致的设计元素。 实现斜向斑马线边框 要实现斜向斑马线间隔圆环,我们可以使用css paint api。该api提供了强大的功能,可以让我们在元素上绘制复杂的图形。 立即学习“前端…

    2025年12月24日
    000
  • 图片如何不撑高父容器?

    如何让图片不撑高父容器? 当父容器包含不同高度的子元素时,父容器的高度通常会被最高元素撑开。如果你希望父容器的高度由文本内容撑开,避免图片对其产生影响,可以通过以下 css 解决方法: 绝对定位元素: .child-image { position: absolute; top: 0; left: …

    2025年12月24日
    000
  • CSS 帮助

    我正在尝试将文本附加到棕色框的左侧。我不能。我不知道代码有什么问题。请帮助我。 css .hero { position: relative; bottom: 80px; display: flex; justify-content: left; align-items: start; color:…

    2025年12月24日 好文分享
    200
  • 前端代码辅助工具:如何选择最可靠的AI工具?

    前端代码辅助工具:可靠性探讨 对于前端工程师来说,在HTML、CSS和JavaScript开发中借助AI工具是司空见惯的事情。然而,并非所有工具都能提供同等的可靠性。 个性化需求 关于哪个AI工具最可靠,这个问题没有一刀切的答案。每个人的使用习惯和项目需求各不相同。以下是一些影响选择的重要因素: 立…

    2025年12月24日
    300
  • 如何用 CSS Paint API 实现倾斜的斑马线间隔圆环?

    实现斑马线边框样式:探究 css paint api 本文将探究如何使用 css paint api 实现倾斜的斑马线间隔圆环。 问题: 给定一个有多个圆圈组成的斑马线图案,如何使用 css 实现倾斜的斑马线间隔圆环? 答案: 立即学习“前端免费学习笔记(深入)”; 使用 css paint api…

    2025年12月24日
    000
  • 如何使用CSS Paint API实现倾斜斑马线间隔圆环边框?

    css实现斑马线边框样式 想定制一个带有倾斜斑马线间隔圆环的边框?现在使用css paint api,定制任何样式都轻而易举。 css paint api 这是一个新的css特性,允许开发人员创建自定义形状和图案,其中包括斑马线样式。 立即学习“前端免费学习笔记(深入)”; 实现倾斜斑马线间隔圆环 …

    2025年12月24日
    100

发表回复

登录后才能评论
关注微信