投稿获客
广告
广告 广告 广告
广告 广告 广告 广告
广告 █ 推荐【菠萝云】香港16G内存99元 【CDNCloud】极速、安全可靠的加速体验 广告位联系QQ：253000106 【UStat】免费网站统计平台 SSL证书低至2折 单域名36元起 免费测试！海总一手APK免杀处理 广告位联系QQ：253000106 CDN 服务器 反炸 劫持 域名屏蔽 【UStat】专业网站统计平台 域名注册：海量域名快速注册 安卓免杀 谷歌报毒 封装 苹果签名 广告位联系QQ：253000106 【域名被劫持污染如何处理】 安卓免杀★超级签★封装★谷歌屏蔽 广告位联系QQ：253000106

*本站广告为第三方投放，如发生纠纷，请向本站索取第三方联系方式沟通

  1. 创想鸟首页
  2. 科技

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

程序猿 • • 科技 • 阅读 1
不百分百还原出虚拟场景，效果反而更好。
我们很多人都听说过数字孪生（digital twin），在英伟达等公司的大力推动下，这种高效运营工作流程的方法已经在很多工业场景中得到应用。
但你听说过数字表亲（digital cousin）吗？
近日，斯坦福大学李飞飞团队就做出了一个这样的研究，其可有效地将真实数据变成适用于机器人学习的模拟数据 —— 在降低真实转模拟成本的同时还能提升学习的泛化性能。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

简单来说，你只需拍一张照片，就能将照片中的物体变成虚拟版本，并且这个数字虚拟版本还不是照片中物体的一比一复刻，而是存在一定的变化。

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

我们知道，在真实世界中训练机器人并不安全，而且成本很高，难以大规模扩展。这就是模拟的用武之地，其成本低，并且可以源源不断地获取训练数据。但是，模拟的问题也很明显，模拟环境和真实环境总归不一样，存在含义和物理机制上的差异。
为了解决这种差异，数字孪生的概念诞生了。简单来说，数字孪生就是为真实场景构建一个虚拟副本，但其成本很高，并且难以实现跨域泛化。
为了解决这些局限，李飞飞团队提出了数字表亲（digital cousin）的概念。不同于数字孪生，数字表亲并不是真实物体的虚拟对应，而只是具有相似的几何和语义特质和属性。

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

论文标题：ACDC: Automated Creation of Digital Cousins for Robust Policy Learning
论文链接：https://arxiv.org/abs/2410.07408
项目地址：https://digital-cousins.github.io/
如此一来，数字表亲既能降低生成相似的虚拟环境的成本，还能通过提供相似训练场景的分布而实现更好的跨域泛化。基于数字表亲，该团队提出了一种用于自动创建数字表亲的全新方法，该方法就叫做自动数字表亲创建（Automatic Creation of Digital Cousins），简称 ACDC。
他们还提出了一种全自动的「真实→虚拟→真实」流程，可用于生成完全可交互的场景以及训练可以零样本方式部署在原始场景中的机器人策略。
结果表明，ACDC 得到的数字表亲可以成功保留几何与语义特质和属性，同时训练得到的机器人策略也优于使用数字孪生得到的策略：在零样本虚拟→真实迁移条件下，能以 90% 的成功率胜过数字孪生的 25%。
方法概述
ACDC 由三个连续步骤构成：
首先，从输入的 RGB 图像中提取出每个物体的相关信息。
接下来，基于一个资产数据集，使用该信息来为每个检测到的输入物体匹配数字表亲。
最后，对选取的数字表亲进行后处理，生成一个完全可交互的模拟场景。

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

实验
该团队进行一系列实验，试图解答以下研究问题：
问题 1：ACDC 能否得到高质量的数字表亲场景？给定一张 RGB 图像，ACDC 能否捕获原始场景中固有的高层级语义和空间细节？ 
问题 2：当在原始设置上进行评估时，基于数字表亲训练得到的策略能否与基于数字孪生得到的策略相媲美？
问题 3：相比于基于数字孪生训练得到的策略，基于数字表亲训练得到的策略是否更加稳健
问题 4：基于数字表亲训练得到的策略能否实现零样本「虚拟→真实」策略迁移
通过 ACDC 进行场景重建

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

                                       在模拟 – 模拟场景中，ACDC 对场景重建进行定量和定性评估。
其中，「Scale」是输入场景中两个物体的边界框之间的最大距离。「Cat.」表示正确分类的物体与场景中物体总数的比例。「Mod.」显示正确建模的物体与场景中物体总数的比例。「L2 Dist.」提供输入和重建场景中边界框中心之间的欧几里得距离的平均值和标准差。「Ori. Diff.」表示每个中心对称物体的方向幅度差异的平均值和标准差。「Bbox IoU」表示资产 3D 边界框的交并比 (IoU)。

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

                                      定性 ACDC 真实 – 模拟场景重建结果。针对给定场景显示多个表亲。
基于这些结果，我们可以放心地回答问题 1：ACDC 确实可以保留输入场景的语义和空间细节，从单个 RGB 图像生成现实世界对象的表亲，这些表亲可以准确定位和扩展，以匹配原始场景。
使用数字表亲进行模拟 – 模拟策略学习

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

怪兽AI数字人 怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

怪兽AI数字人 44 查看详情 怪兽AI数字人

                                     模拟-模拟策略结果。
在精确孪生、不同数量的表亲和三个最近类别的所有资产上训练的策略的汇总成功率。策略在四种设置上进行测试：精确数字孪生和三种越来越不相似的设置（以 DINOv2 嵌入距离为衡量标准）以探测零样本泛化。请注意，对于任务 3，使任务可行的橱柜模型要少得多，因此这里仅比较数字孪生和 8 个表亲的策略。
使用数字表亲进行模拟-真实策略学习

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

                                         数字孪生与数字表亲策略的零样本真实世界评估。任务是打开宜家橱柜的门，衡量标准是成功率：模拟 / 真实结果在 50/20 次试验中取平均值。
真实-模拟-真实的场景生成和策略学习

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

                        全自动数字表亲生成。ACDC 的无剪切视频完全自动执行，为真实厨房场景生成了多个数字表亲。ACDC 步骤 1 末尾的轴对齐边界框无需加速即可做到可视化。

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

                                      零样本模拟到真实世界策略迁移。专门从上面生成的四个数字表亲训练的模拟策略，我们可以零样本迁移到相应的真实厨房场景。
基于这些结果，我们可以放心地回答问题 2、3、4：与在数字孪生上训练的策略相比，使用数字表亲训练的策略表现出相当的分布内性能和更稳健的分布外性能，并且可以实现零样本模拟到真实策略迁移。

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

                                    一些失败的案例。
结论
作为一种全自动管道，ACDC 用于快速生成与单个现实世界 RGB 图像相对应的完全交互式数字表亲场景。我们可以发现，利用这些数字表亲训练的策略比在数字孪生上训练的策略更稳健，具有可媲美的域内性能和卓越的域外泛化能力，同时也支持零样本模拟到现实的策略转移。

以上就是李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/416590.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

414.1K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月7日 01:34:21
下一篇 2025年11月7日 01:36:24

相关推荐

  • HTML、CSS 和 JavaScript 中的简单侧边栏菜单 好文分享

    HTML、CSS 和 JavaScript 中的简单侧边栏菜单

    构建一个简单的侧边栏菜单是一个很好的主意，它可以为您的网站添加有价值的功能和令人惊叹的外观。 侧边栏菜单对于客户找到不同项目的方式很有用，而不会让他们觉得自己有太多选择，从而创造了简单性和秩序。 今天，我将分享一个简单的 HTML、CSS 和 JavaScript 源代码来创建一个简单的侧边栏菜单。…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • 前端代码辅助工具：如何选择最可靠的AI工具？ 好文分享

    前端代码辅助工具：如何选择最可靠的AI工具？

    前端代码辅助工具：可靠性探讨 对于前端工程师来说，在HTML、CSS和JavaScript开发中借助AI工具是司空见惯的事情。然而，并非所有工具都能提供同等的可靠性。 个性化需求 关于哪个AI工具最可靠，这个问题没有一刀切的答案。每个人的使用习惯和项目需求各不相同。以下是一些影响选择的重要因素： 立…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 带有 HTML、CSS 和 JavaScript 工具提示的响应式侧边导航栏 好文分享

    带有 HTML、CSS 和 JavaScript 工具提示的响应式侧边导航栏

    响应式侧边导航栏不仅有助于改善网站的导航，还可以解决整齐放置链接的问题，从而增强用户体验。通过使用工具提示，可以让用户了解每个链接的功能，包括设计紧凑的情况。 在本教程中，我将解释使用 html、css、javascript 创建带有工具提示的响应式侧栏导航的完整代码。 对于那些一直想要一个干净、简…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 布局 - CSS 挑战 好文分享

    布局 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在这里查看视觉效果： 固定导航 – 布局 – codesandbox两列 – 布局 – codesandbox三列 – 布局 – codesandbox圣杯 &#8…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 隐藏元素 - CSS 挑战 好文分享

    隐藏元素 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在此处查看隐藏元素的视觉效果 – codesandbox 隐藏元素 hiding elements hiding elements hiding elements hiding elements hiding element…

    程序猿的头像 程序猿
    2025年12月24日
    400

  • 居中 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在此处查看垂直中心 – codesandbox 和水平中心的视觉效果。 通过 css 居中 垂直居中 centering centering centering centering centering centering立即…

    程序猿的头像 程序猿
    2025年12月24日 • 好文分享
    300
  • 如何在 Laravel 框架中轻松集成微信支付和支付宝支付？ 好文分享

    如何在 Laravel 框架中轻松集成微信支付和支付宝支付？

    如何用 laravel 框架集成微信支付和支付宝支付 问题：如何在 laravel 框架中集成微信支付和支付宝支付？ 回答： 建议使用 easywechat 的 laravel 版，easywechat 是一个由腾讯工程师开发的高质量微信开放平台 sdk，已被广泛地应用于许多 laravel 项目中…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何在移动端实现子 div 在父 div 内任意滑动查看？ 好文分享

    如何在移动端实现子 div 在父 div 内任意滑动查看？

    如何在移动端中实现让子 div 在父 div 内任意滑动查看 在移动端开发中，有时我们需要让子 div 在父 div 内任意滑动查看。然而，使用滚动条无法实现负值移动，因此需要采用其他方法。 解决方案： 使用绝对布局（absolute）或相对布局（relative）：将子 div 设置为绝对或相对定…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 移动端嵌套 DIV 中子 DIV 如何水平滑动？ 好文分享

    移动端嵌套 DIV 中子 DIV 如何水平滑动？

    移动端嵌套 DIV 中子 DIV 滑动 在移动端开发中，遇到这样的问题：当子 DIV 的高度小于父 DIV 时，无法在父 DIV 中水平滚动子 DIV。 无限画布 要实现子 DIV 在父 DIV 中任意滑动，需要创建一个无限画布。使用滚动无法达到负值，因此需要使用其他方法。 相对定位 一种方法是将子…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 移动端项目中，如何消除rem字体大小计算带来的CSS扭曲？ 好文分享

    移动端项目中，如何消除rem字体大小计算带来的CSS扭曲？

    移动端项目中消除rem字体大小计算带来的css扭曲 在移动端项目中，使用rem计算根节点字体大小可以实现自适应布局。但是，此方法可能会导致页面打开时出现css扭曲，这是因为页面内容在根节点字体大小赋值后重新渲染造成的。 解决方案： 要避免这种情况，将计算根节点字体大小的js脚本移动到页面的最前面，即…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • Nuxt 移动端项目中 rem 计算导致 CSS 变形，如何解决？ 好文分享

    Nuxt 移动端项目中 rem 计算导致 CSS 变形，如何解决？

    Nuxt 移动端项目中解决 rem 计算导致 CSS 变形 在 Nuxt 移动端项目中使用 rem 计算根节点字体大小时，可能会遇到一个问题：页面内容在字体大小发生变化时会重绘，导致 CSS 变形。 解决方案： 可将计算根节点字体大小的 JS 代码块置于页面最前端的 标签内，确保在其他资源加载之前执…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • Nuxt 移动端项目使用 rem 计算字体大小导致页面变形，如何解决？ 好文分享

    Nuxt 移动端项目使用 rem 计算字体大小导致页面变形，如何解决？

    rem 计算导致移动端页面变形的解决方法 在 nuxt 移动端项目中使用 rem 计算根节点字体大小时，页面会发生内容重绘，导致页面打开时出现样式变形。如何避免这种现象？ 解决方案： 移动根节点字体大小计算代码到页面顶部，即 head 中。 原理： flexível.js 也遇到了类似问题，它的解决…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 形状 - CSS 挑战 好文分享

    形状 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在此处查看 codesandbox 的视觉效果。 通过css绘制各种形状 如何在 css 中绘制正方形、梯形、三角形、异形三角形、扇形、圆形、半圆、固定宽高比、0.5px 线？ shapes 0.5px line .square { w…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 有哪些美观的开源数字大屏驾驶舱框架？ 好文分享

    有哪些美观的开源数字大屏驾驶舱框架？

    开源数字大屏驾驶舱框架推荐 问题：有哪些美观的开源数字大屏驾驶舱框架？ 答案： 资源包 [弗若恩智能大屏驾驶舱开发资源包](https://www.fanruan.com/resource/152) 软件 [弗若恩报表 – 数字大屏可视化组件](https://www.fanruan.c…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 网站底部如何实现飘彩带效果？ 好文分享

    网站底部如何实现飘彩带效果？

    网站底部飘彩带效果的 js 库实现 许多网站都会在特殊节日或活动中添加一些趣味性的视觉效果，例如点击按钮后散发的五彩缤纷的彩带。对于一个特定的网站来说，其飘彩带效果的实现方式可能有以下几个方面： 以 https://dub.sh/ 网站为例，它底部按钮点击后的彩带效果是由 javascript 库实…

    程序猿的头像 程序猿
    2025年12月24日
    000

  • 网站彩带效果背后是哪个JS库？

    网站彩带效果背后是哪个js库？ 当你访问某些网站时，点击按钮后，屏幕上会飘出五颜六色的彩带，营造出庆祝的氛围。这些效果是通过使用javascript库实现的。 问题： 哪个javascript库能够实现网站上点击按钮散发彩带的效果？ 答案： 根据给定网站的源代码分析： 可以发现，该网站使用了以下js…

    程序猿的头像 程序猿
    好文分享 2025年12月24日
    100
  • 产品预览卡项目 好文分享

    产品预览卡项目

    这个项目最初是来自 Frontend Mentor 的挑战，旨在使用 HTML 和 CSS 创建响应式产品预览卡。最初的任务是设计一张具有视觉吸引力和功能性的产品卡，能够无缝适应各种屏幕尺寸。这涉及使用 CSS 媒体查询来确保布局在不同设备上保持一致且用户友好。产品卡包含产品图像、标签、标题、描述和…

    程序猿的头像 程序猿
    2025年12月24日
    100
  • 如何利用 echarts-gl 绘制带发光的 3D 图表？ 好文分享

    如何利用 echarts-gl 绘制带发光的 3D 图表？

    如何绘制带发光的 3d 图表，类似于 echarts 中的示例？ 为了实现类似的 3d 图表效果，需要引入 echarts-gl 库：https://github.com/ecomfe/echarts-gl。 echarts-gl 专用于在 webgl 环境中渲染 3d 图形。它提供了各种 3d 图…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何在 Element UI 的 el-rate 组件中实现 5 颗星 5 分制与百分制之间的转换？ 好文分享

    如何在 Element UI 的 el-rate 组件中实现 5 颗星 5 分制与百分制之间的转换？

    如何在el-rate中将5颗星5分制的分值显示为5颗星百分制？ 要实现该效果，只需使用 el-rate 组件的 allow-half 属性。在设置 allow-half 属性后，获得的结果乘以 20 即可得到0-100之间的百分制分数。如下所示： score = score * 20; 动态显示鼠标…

    程序猿的头像 程序猿
    2025年12月24日
    100
  • CSS 最佳实践：后端程序员重温 CSS 时常见的三个疑问？ 好文分享

    CSS 最佳实践：后端程序员重温 CSS 时常见的三个疑问？

    CSS 最佳实践：提升代码质量 作为后端程序员，在重温 CSS/HTML 时，你可能会遇到一些关于最佳实践的问题。以下将解答三个常见问题，帮助你编写更规范、清晰的 CSS 代码。 1. margin 设置策略 当相邻元素都设置了 margin 时，通常情况下应为上一个元素设置 margin-bott…

    程序猿的头像 程序猿
    2025年12月24日
    000

发表回复

登录后才能评论
关注微信