投稿获客
广告
广告 广告 广告
广告 广告 广告 广告
广告 █ 推荐【菠萝云】香港16G内存99元 【CDNCloud】极速、安全可靠的加速体验 广告位联系QQ：253000106 【UStat】免费网站统计平台 SSL证书低至2折 单域名36元起 免费测试！海总一手APK免杀处理 广告位联系QQ：253000106 CDN 服务器 反炸 劫持 域名屏蔽 【UStat】专业网站统计平台 域名注册：海量域名快速注册 安卓免杀 谷歌报毒 封装 苹果签名 广告位联系QQ：253000106 【域名被劫持污染如何处理】 安卓免杀★超级签★封装★谷歌屏蔽 广告位联系QQ：253000106

*本站广告为第三方投放，如发生纠纷，请向本站索取第三方联系方式沟通

  1. 创想鸟首页
  2. 科技

CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务

程序猿 • • 科技 • 阅读 1

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

cvpr 2024高分论文：全新生成式编辑框架genn2n，统一nerf转换任务

我们网站的AIxiv专栏是关于学术和技术内容的栏目。过去几年来，我们网站的AIxiv专栏已经收到超过2000篇内容，覆盖全球各大高校与企业的顶级实验室，有助于推进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或联系报道。投稿邮箱为liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。

来自香港科技大学，清华大学的研究者提出了「GenN2N」，一个统一的生成式 NeRF-to-NeRF 转换框架，适用于各种 NeRF 转换任务，例如文字驱动的 NeRF 编辑、着色、超分辨率、修复等，性能均表现极其出色！CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务

CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务

白果AI论文 白果AI论文

论文AI生成学术工具，真实文献，免费不限次生成论文大纲 10 秒生成逻辑框架，10 分钟产出初稿，智能适配 80+学科。支持嵌入图表公式与合规文献引用

白果AI论文 61 查看详情 白果AI论文

论文地址：https://arxiv.org/abs/2404.02788
论文主页：https://xiangyueliu.github.io/GenN2N/
Github 地址：https://github.com/Lxiangyue/GenN2N
论文标题：GenN2N: Generative NeRF2NeRF Translation
近年来，神经辐射场（NeRF）因其紧凑、高质量、多功能性在三维重建、三维生成和新视角合成领域引起了广泛关注。然而，一旦创建了 NeRF 场景，这些方法通常缺乏对生成几何和外观的进一步控制。因此，NeRF 编辑（NeRF Editing）最近成为了一个值得关注的研究重点。
目前的 NeRF 编辑方法通常是针对特定任务的，例如 NeRF 的文本驱动编辑、超分辨率、修复和着色。这些方法需要大量的特定任务领域知识。而在 2D 图像编辑领域，开发通用的图像到图像（Image-to-image）转换方法成为一种趋势，例如利用 2D 生成模型 Stable Difussion 支持多功能的图像编辑。因此，我们提出了利用基础的 2D 生成模型进行通用的 NeRF 编辑。
随之而来的挑战是 NeRF 和 2D 图像之间的表示差距，尤其是图像编辑器通常会为不同视角生成多种不一致的编辑。最近的一种基于文本的 NeRF 编辑方法 Instruct-NeRF2NeRF 对此进行了探究。其采用 “渲染 – 编辑 – 聚合” 的流程，通过逐步渲染多视角图像、编辑这些图像，将编辑图像聚合到 NeRF 中逐步更新 NeRF 场景。然而这种编辑方法，针对特定的编辑需求，经过大量的优化，只能生成一种特定编辑的结果，如果用户不满意则需要反复迭代尝试。
因此，我们提出了「GenN2N」，一种适用于多种 NeRF 编辑任务的 NeRF-to-NeRF 通用框架，其核心在于用生成的方式来刻画编辑过程多解性，使其可以借助生成式编辑轻松产生大量符合要求的编辑结果供用户挑选。
在 GenN2N 的核心部分，1）引入了 3D VAE-GAN 的生成式框架，使用 VAE 表征整个编辑空间，来学习与一组输入的 2D 编辑图像对应的所有可能的 3D NeRF 编辑分布，并用 GAN 为编辑 NeRF 的不同视图提供合理的监督，确保编辑结果的真实性，2）使用对比学习解耦编辑内容和视角，确保不同视角间的编辑内容一致性，3）在推理时，用户简单地从条件生成模型中随机地采样出多个编辑码，就可以生成与编辑目标对应的各种 3D 编辑结果。
相比于各种 NeRF 编辑任务的 SOTA 方法（ICCV2023 Oral 等），GenN2N 在编辑质量、多样性、效率等方面均优于已有方法。
方法介绍
我们首先进行 2D 图像编辑，然后将这些 2D 编辑提升到 3D NeRF 来实现生成式的 NeRF-to-NeRF 的转换。

CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务

A. 隐式蒸馏（Latent Distill）
我们用 Latent Distill Module 作为 VAE 的 encoder，为每张编辑图像学习一个隐式的编辑码，在 NeRF-to-NeRF 转换中通过此编辑码控制生成的内容。所有编辑码在 KL loss 的约束下服从一个良好的正态分布，以便更好地采样。为了解耦编辑内容和视角，我们精心设计了对比学习，鼓励相同编辑风格视角不同的图片的编辑码相近，不同编辑风格但视角相同的图片的编辑码互相远离。
B.NeRF-to-NeRF 的转换（Translated NeRF）
我们用 NeRF-to-NeRF Translation 作为 VAE 的 decoder，其以编辑码作为输入，将原始的 NeRF 修改为一个转换 NeRF。我们在原 NeRF 网络隐藏层之间添加了残差层，这些残差层以编辑码作为输入来调制隐藏层神经元，使得转换 NeRF 既能够保留原本 NeRF 的信息，又可以根据编辑码来控制转换 3D 内容。同时，NeRF-to-NeRF Translation 也作为生成器参与生成对抗训练。通过生成而非优化的方式，使得我们可以一次性得到多种转换结果，显著提升了 NeRF 转换效率和结果多样性。
C. 条件判别器（Conditional Discriminator）
转换 NeRF 的渲染图片构成了需要判别的生成空间，这些图片的编辑风格、渲染视角各异，导致生成空间非常复杂。因此我们提供一个 condition 作为判别器的额外信息。具体而言，判别器在鉴别生成器的渲染图片CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务（负样本）或训练数据中的编辑图片CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务（正样本）时，我们都从训练数据中再挑选一张相同视角的编辑图片CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务作为条件，这使得判别器在鉴别正负样本时不会受到视角因素的干扰。
D. 推理（Inference）
在 GenN2N 优化后，用户可以从正态分布中随机采样出编辑码，输入转换 NeRF 即可生成出编辑后的高质量、多视角一致性的 3D NeRF 场景。
实验
我们在多种 NeRF-to-NeRF 任务上进行了大量的实验，包括 NeRF 文本驱动编辑、着色、超分辨率、修复等。实验结果展示了 GenN2N 卓越的编辑质量、多视角一致性、生成的多样性和编辑效率。
A. 基于文本的 NeRF 编辑CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务B.NeRF 着色 CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务C.NeRF 超分辨率 CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务D.NeRF 修复 CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务
对比实验
我们的方法与各种特定 NeRF 任务的 SOTA 方法进行了定性和定量对比（包括文本驱动编辑、着色、超分辨率和修复等）。结果表明，GenN2N 作为一个通用框架，其表现与特定任务 SOTA 相当或者更好，同时编辑结果具有更强的多样性（如下是 GenN2N 与 Instruct-NeRF2NeRF 在基于文本的 NeRF 编辑任务上的对比）。
A. 基于文本的 NeRF 编辑CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务
了解更多实验、方法内容，请参考论文主页。
团队介绍
该论文来自香港科技大学谭平团队、清华大学 3DVICI Lab、上海人工智能实验室和上海期智研究院，论文的作者为香港科技大学学生刘襄阅，清华大学学生薛晗，香港科技大学学生罗堃铭，指导老师为清华大学弋力老师和香港科技大学谭平老师。

以上就是CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/615255.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

414.1K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月11日 03:32:38
下一篇 2025年11月11日 03:42:19

相关推荐

  • HTML、CSS 和 JavaScript 中的简单侧边栏菜单 好文分享

    HTML、CSS 和 JavaScript 中的简单侧边栏菜单

    构建一个简单的侧边栏菜单是一个很好的主意，它可以为您的网站添加有价值的功能和令人惊叹的外观。 侧边栏菜单对于客户找到不同项目的方式很有用，而不会让他们觉得自己有太多选择，从而创造了简单性和秩序。 今天，我将分享一个简单的 HTML、CSS 和 JavaScript 源代码来创建一个简单的侧边栏菜单。…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • 前端代码辅助工具：如何选择最可靠的AI工具？ 好文分享

    前端代码辅助工具：如何选择最可靠的AI工具？

    前端代码辅助工具：可靠性探讨 对于前端工程师来说，在HTML、CSS和JavaScript开发中借助AI工具是司空见惯的事情。然而，并非所有工具都能提供同等的可靠性。 个性化需求 关于哪个AI工具最可靠，这个问题没有一刀切的答案。每个人的使用习惯和项目需求各不相同。以下是一些影响选择的重要因素： 立…

    程序猿的头像 程序猿
    2025年12月24日
    300
  • 带有 HTML、CSS 和 JavaScript 工具提示的响应式侧边导航栏 好文分享

    带有 HTML、CSS 和 JavaScript 工具提示的响应式侧边导航栏

    响应式侧边导航栏不仅有助于改善网站的导航，还可以解决整齐放置链接的问题，从而增强用户体验。通过使用工具提示，可以让用户了解每个链接的功能，包括设计紧凑的情况。 在本教程中，我将解释使用 html、css、javascript 创建带有工具提示的响应式侧栏导航的完整代码。 对于那些一直想要一个干净、简…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 布局 - CSS 挑战 好文分享

    布局 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在这里查看视觉效果： 固定导航 – 布局 – codesandbox两列 – 布局 – codesandbox三列 – 布局 – codesandbox圣杯 &#8…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 隐藏元素 - CSS 挑战 好文分享

    隐藏元素 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在此处查看隐藏元素的视觉效果 – codesandbox 隐藏元素 hiding elements hiding elements hiding elements hiding elements hiding element…

    程序猿的头像 程序猿
    2025年12月24日
    400

  • 居中 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在此处查看垂直中心 – codesandbox 和水平中心的视觉效果。 通过 css 居中 垂直居中 centering centering centering centering centering centering立即…

    程序猿的头像 程序猿
    2025年12月24日 • 好文分享
    300
  • 如何在 Laravel 框架中轻松集成微信支付和支付宝支付？ 好文分享

    如何在 Laravel 框架中轻松集成微信支付和支付宝支付？

    如何用 laravel 框架集成微信支付和支付宝支付 问题：如何在 laravel 框架中集成微信支付和支付宝支付？ 回答： 建议使用 easywechat 的 laravel 版，easywechat 是一个由腾讯工程师开发的高质量微信开放平台 sdk，已被广泛地应用于许多 laravel 项目中…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何在移动端实现子 div 在父 div 内任意滑动查看？ 好文分享

    如何在移动端实现子 div 在父 div 内任意滑动查看？

    如何在移动端中实现让子 div 在父 div 内任意滑动查看 在移动端开发中，有时我们需要让子 div 在父 div 内任意滑动查看。然而，使用滚动条无法实现负值移动，因此需要采用其他方法。 解决方案： 使用绝对布局（absolute）或相对布局（relative）：将子 div 设置为绝对或相对定…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 移动端嵌套 DIV 中子 DIV 如何水平滑动？ 好文分享

    移动端嵌套 DIV 中子 DIV 如何水平滑动？

    移动端嵌套 DIV 中子 DIV 滑动 在移动端开发中，遇到这样的问题：当子 DIV 的高度小于父 DIV 时，无法在父 DIV 中水平滚动子 DIV。 无限画布 要实现子 DIV 在父 DIV 中任意滑动，需要创建一个无限画布。使用滚动无法达到负值，因此需要使用其他方法。 相对定位 一种方法是将子…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 移动端项目中，如何消除rem字体大小计算带来的CSS扭曲？ 好文分享

    移动端项目中，如何消除rem字体大小计算带来的CSS扭曲？

    移动端项目中消除rem字体大小计算带来的css扭曲 在移动端项目中，使用rem计算根节点字体大小可以实现自适应布局。但是，此方法可能会导致页面打开时出现css扭曲，这是因为页面内容在根节点字体大小赋值后重新渲染造成的。 解决方案： 要避免这种情况，将计算根节点字体大小的js脚本移动到页面的最前面，即…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • Nuxt 移动端项目中 rem 计算导致 CSS 变形，如何解决？ 好文分享

    Nuxt 移动端项目中 rem 计算导致 CSS 变形，如何解决？

    Nuxt 移动端项目中解决 rem 计算导致 CSS 变形 在 Nuxt 移动端项目中使用 rem 计算根节点字体大小时，可能会遇到一个问题：页面内容在字体大小发生变化时会重绘，导致 CSS 变形。 解决方案： 可将计算根节点字体大小的 JS 代码块置于页面最前端的 标签内，确保在其他资源加载之前执…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • Nuxt 移动端项目使用 rem 计算字体大小导致页面变形，如何解决？ 好文分享

    Nuxt 移动端项目使用 rem 计算字体大小导致页面变形，如何解决？

    rem 计算导致移动端页面变形的解决方法 在 nuxt 移动端项目中使用 rem 计算根节点字体大小时，页面会发生内容重绘，导致页面打开时出现样式变形。如何避免这种现象？ 解决方案： 移动根节点字体大小计算代码到页面顶部，即 head 中。 原理： flexível.js 也遇到了类似问题，它的解决…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 形状 - CSS 挑战 好文分享

    形状 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在此处查看 codesandbox 的视觉效果。 通过css绘制各种形状 如何在 css 中绘制正方形、梯形、三角形、异形三角形、扇形、圆形、半圆、固定宽高比、0.5px 线？ shapes 0.5px line .square { w…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 有哪些美观的开源数字大屏驾驶舱框架？ 好文分享

    有哪些美观的开源数字大屏驾驶舱框架？

    开源数字大屏驾驶舱框架推荐 问题：有哪些美观的开源数字大屏驾驶舱框架？ 答案： 资源包 [弗若恩智能大屏驾驶舱开发资源包](https://www.fanruan.com/resource/152) 软件 [弗若恩报表 – 数字大屏可视化组件](https://www.fanruan.c…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 网站底部如何实现飘彩带效果？ 好文分享

    网站底部如何实现飘彩带效果？

    网站底部飘彩带效果的 js 库实现 许多网站都会在特殊节日或活动中添加一些趣味性的视觉效果，例如点击按钮后散发的五彩缤纷的彩带。对于一个特定的网站来说，其飘彩带效果的实现方式可能有以下几个方面： 以 https://dub.sh/ 网站为例，它底部按钮点击后的彩带效果是由 javascript 库实…

    程序猿的头像 程序猿
    2025年12月24日
    000

  • 网站彩带效果背后是哪个JS库？

    网站彩带效果背后是哪个js库？ 当你访问某些网站时，点击按钮后，屏幕上会飘出五颜六色的彩带，营造出庆祝的氛围。这些效果是通过使用javascript库实现的。 问题： 哪个javascript库能够实现网站上点击按钮散发彩带的效果？ 答案： 根据给定网站的源代码分析： 可以发现，该网站使用了以下js…

    程序猿的头像 程序猿
    好文分享 2025年12月24日
    100
  • 产品预览卡项目 好文分享

    产品预览卡项目

    这个项目最初是来自 Frontend Mentor 的挑战，旨在使用 HTML 和 CSS 创建响应式产品预览卡。最初的任务是设计一张具有视觉吸引力和功能性的产品卡，能够无缝适应各种屏幕尺寸。这涉及使用 CSS 媒体查询来确保布局在不同设备上保持一致且用户友好。产品卡包含产品图像、标签、标题、描述和…

    程序猿的头像 程序猿
    2025年12月24日
    100
  • 如何利用 echarts-gl 绘制带发光的 3D 图表？ 好文分享

    如何利用 echarts-gl 绘制带发光的 3D 图表？

    如何绘制带发光的 3d 图表，类似于 echarts 中的示例？ 为了实现类似的 3d 图表效果，需要引入 echarts-gl 库：https://github.com/ecomfe/echarts-gl。 echarts-gl 专用于在 webgl 环境中渲染 3d 图形。它提供了各种 3d 图…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何在 Element UI 的 el-rate 组件中实现 5 颗星 5 分制与百分制之间的转换？ 好文分享

    如何在 Element UI 的 el-rate 组件中实现 5 颗星 5 分制与百分制之间的转换？

    如何在el-rate中将5颗星5分制的分值显示为5颗星百分制？ 要实现该效果，只需使用 el-rate 组件的 allow-half 属性。在设置 allow-half 属性后，获得的结果乘以 20 即可得到0-100之间的百分制分数。如下所示： score = score * 20; 动态显示鼠标…

    程序猿的头像 程序猿
    2025年12月24日
    100
  • CSS 最佳实践：后端程序员重温 CSS 时常见的三个疑问？ 好文分享

    CSS 最佳实践：后端程序员重温 CSS 时常见的三个疑问？

    CSS 最佳实践：提升代码质量 作为后端程序员，在重温 CSS/HTML 时，你可能会遇到一些关于最佳实践的问题。以下将解答三个常见问题，帮助你编写更规范、清晰的 CSS 代码。 1. margin 设置策略 当相邻元素都设置了 margin 时，通常情况下应为上一个元素设置 margin-bott…

    程序猿的头像 程序猿
    2025年12月24日
    000

发表回复

登录后才能评论
关注微信