投稿获客
  1. 创想鸟首页
  2. 用户投稿

CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务

程序猿 • • 用户投稿 • 阅读 1

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

cvpr 2024高分论文：全新生成式编辑框架genn2n，统一nerf转换任务

我们网站的AIxiv专栏是关于学术和技术内容的栏目。过去几年来，我们网站的AIxiv专栏已经收到超过2000篇内容，覆盖全球各大高校与企业的顶级实验室，有助于推进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或联系报道。投稿邮箱为liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。

来自香港科技大学，清华大学的研究者提出了「GenN2N」，一个统一的生成式 NeRF-to-NeRF 转换框架，适用于各种 NeRF 转换任务，例如文字驱动的 NeRF 编辑、着色、超分辨率、修复等，性能均表现极其出色！CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务

CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务

白果AI论文 白果AI论文

论文AI生成学术工具，真实文献，免费不限次生成论文大纲 10 秒生成逻辑框架，10 分钟产出初稿，智能适配 80+学科。支持嵌入图表公式与合规文献引用

白果AI论文 61 查看详情 白果AI论文

论文地址：https://arxiv.org/abs/2404.02788
论文主页：https://xiangyueliu.github.io/GenN2N/
Github 地址：https://github.com/Lxiangyue/GenN2N
论文标题：GenN2N: Generative NeRF2NeRF Translation
近年来，神经辐射场（NeRF）因其紧凑、高质量、多功能性在三维重建、三维生成和新视角合成领域引起了广泛关注。然而，一旦创建了 NeRF 场景，这些方法通常缺乏对生成几何和外观的进一步控制。因此，NeRF 编辑（NeRF Editing）最近成为了一个值得关注的研究重点。
目前的 NeRF 编辑方法通常是针对特定任务的，例如 NeRF 的文本驱动编辑、超分辨率、修复和着色。这些方法需要大量的特定任务领域知识。而在 2D 图像编辑领域，开发通用的图像到图像（Image-to-image）转换方法成为一种趋势，例如利用 2D 生成模型 Stable Difussion 支持多功能的图像编辑。因此，我们提出了利用基础的 2D 生成模型进行通用的 NeRF 编辑。
随之而来的挑战是 NeRF 和 2D 图像之间的表示差距，尤其是图像编辑器通常会为不同视角生成多种不一致的编辑。最近的一种基于文本的 NeRF 编辑方法 Instruct-NeRF2NeRF 对此进行了探究。其采用 “渲染 – 编辑 – 聚合” 的流程，通过逐步渲染多视角图像、编辑这些图像，将编辑图像聚合到 NeRF 中逐步更新 NeRF 场景。然而这种编辑方法，针对特定的编辑需求，经过大量的优化，只能生成一种特定编辑的结果，如果用户不满意则需要反复迭代尝试。
因此，我们提出了「GenN2N」，一种适用于多种 NeRF 编辑任务的 NeRF-to-NeRF 通用框架，其核心在于用生成的方式来刻画编辑过程多解性，使其可以借助生成式编辑轻松产生大量符合要求的编辑结果供用户挑选。
在 GenN2N 的核心部分，1）引入了 3D VAE-GAN 的生成式框架，使用 VAE 表征整个编辑空间，来学习与一组输入的 2D 编辑图像对应的所有可能的 3D NeRF 编辑分布，并用 GAN 为编辑 NeRF 的不同视图提供合理的监督，确保编辑结果的真实性，2）使用对比学习解耦编辑内容和视角，确保不同视角间的编辑内容一致性，3）在推理时，用户简单地从条件生成模型中随机地采样出多个编辑码，就可以生成与编辑目标对应的各种 3D 编辑结果。
相比于各种 NeRF 编辑任务的 SOTA 方法（ICCV2023 Oral 等），GenN2N 在编辑质量、多样性、效率等方面均优于已有方法。
方法介绍
我们首先进行 2D 图像编辑，然后将这些 2D 编辑提升到 3D NeRF 来实现生成式的 NeRF-to-NeRF 的转换。

CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务

A. 隐式蒸馏（Latent Distill）
我们用 Latent Distill Module 作为 VAE 的 encoder，为每张编辑图像学习一个隐式的编辑码，在 NeRF-to-NeRF 转换中通过此编辑码控制生成的内容。所有编辑码在 KL loss 的约束下服从一个良好的正态分布，以便更好地采样。为了解耦编辑内容和视角，我们精心设计了对比学习，鼓励相同编辑风格视角不同的图片的编辑码相近，不同编辑风格但视角相同的图片的编辑码互相远离。
B.NeRF-to-NeRF 的转换（Translated NeRF）
我们用 NeRF-to-NeRF Translation 作为 VAE 的 decoder，其以编辑码作为输入，将原始的 NeRF 修改为一个转换 NeRF。我们在原 NeRF 网络隐藏层之间添加了残差层，这些残差层以编辑码作为输入来调制隐藏层神经元，使得转换 NeRF 既能够保留原本 NeRF 的信息，又可以根据编辑码来控制转换 3D 内容。同时，NeRF-to-NeRF Translation 也作为生成器参与生成对抗训练。通过生成而非优化的方式，使得我们可以一次性得到多种转换结果，显著提升了 NeRF 转换效率和结果多样性。
C. 条件判别器（Conditional Discriminator）
转换 NeRF 的渲染图片构成了需要判别的生成空间，这些图片的编辑风格、渲染视角各异，导致生成空间非常复杂。因此我们提供一个 condition 作为判别器的额外信息。具体而言，判别器在鉴别生成器的渲染图片CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务（负样本）或训练数据中的编辑图片CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务（正样本）时，我们都从训练数据中再挑选一张相同视角的编辑图片CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务作为条件，这使得判别器在鉴别正负样本时不会受到视角因素的干扰。
D. 推理（Inference）
在 GenN2N 优化后，用户可以从正态分布中随机采样出编辑码，输入转换 NeRF 即可生成出编辑后的高质量、多视角一致性的 3D NeRF 场景。
实验
我们在多种 NeRF-to-NeRF 任务上进行了大量的实验，包括 NeRF 文本驱动编辑、着色、超分辨率、修复等。实验结果展示了 GenN2N 卓越的编辑质量、多视角一致性、生成的多样性和编辑效率。
A. 基于文本的 NeRF 编辑CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务B.NeRF 着色 CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务C.NeRF 超分辨率 CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务D.NeRF 修复 CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务
对比实验
我们的方法与各种特定 NeRF 任务的 SOTA 方法进行了定性和定量对比（包括文本驱动编辑、着色、超分辨率和修复等）。结果表明，GenN2N 作为一个通用框架，其表现与特定任务 SOTA 相当或者更好，同时编辑结果具有更强的多样性（如下是 GenN2N 与 Instruct-NeRF2NeRF 在基于文本的 NeRF 编辑任务上的对比）。
A. 基于文本的 NeRF 编辑CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务
了解更多实验、方法内容，请参考论文主页。
团队介绍
该论文来自香港科技大学谭平团队、清华大学 3DVICI Lab、上海人工智能实验室和上海期智研究院，论文的作者为香港科技大学学生刘襄阅，清华大学学生薛晗，香港科技大学学生罗堃铭，指导老师为清华大学弋力老师和香港科技大学谭平老师。

以上就是CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/615255.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

414.1K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
[译]C++17, 语言核心层变化的更多细节
上一篇 2025年11月11日 03:40:46
飞猪旅行怎么使用语音搜索_飞猪旅行语音搜索功能教程
下一篇 2025年11月11日 03:41:32

相关推荐

  • 开源免费PHP工具 PHP开发效率提升利器 用户投稿

    开源免费PHP工具 PHP开发效率提升利器

    推荐开源免费PHP开发工具以提升效率：VS Code、Sublime Text轻量高效，PhpStorm专业强大；调试用Xdebug、Kint、Ray；依赖管理选Composer；代码质量工具包括PHPStan、Psalm、PHP_CodeSniffer；数据库管理可用%ignore_a_1%MyA…

    程序猿的头像 程序猿
    2026年5月10日
    000

  • 谷歌浏览器如何截图 谷歌浏览器页面截图技巧

    谷歌浏览器如何截图 谷歌浏览器页面截图技巧谷歌浏览器如何截图 谷歌浏览器页面截图技巧谷歌浏览器如何截图 谷歌浏览器页面截图技巧谷歌浏览器如何截图 谷歌浏览器页面截图技巧

    使用谷歌浏览器的开发者工具截图步骤：1. 按ctrl+shift+i（windows/linux）或cmd+option+i（mac）打开开发者工具。2. 点击右上角三个点，选择”更多工具”，再选择”截图”。3. 选择截取整个页面。推荐的谷歌浏览器扩展…

    程序猿的头像 程序猿
    2026年5月10日 • 用户投稿
    100
  • JavaScript计算器开发：解决数值显示与初始化问题 用户投稿

    JavaScript计算器开发：解决数值显示与初始化问题

    本教程深入探讨了使用JavaScript构建计算器时常见的数值显示异常问题，特别是由于类属性未初始化导致的`Cannot read properties of undefined`错误。我们将详细分析问题根源，并通过在构造函数中调用初始化方法来解决该问题，同时优化显示逻辑，确保计算器功能稳定且界面显…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • NextAuth getToken 在服务端返回 null 的问题排查与解决 用户投稿

    NextAuth getToken 在服务端返回 null 的问题排查与解决

    问题描述 在使用 Next.js 和 NextAuth 构建应用程序时，有时需要在服务端获取用户的身份验证信息。getToken 函数是 NextAuth 提供的一个便捷方法，用于从请求中提取 JWT (JSON Web Token)。然而，在某些情况下，尤其是在使用 getServerSidePr…

    程序猿的头像 程序猿
    2026年5月10日
    000

  • HTML文档如何工作？如何编辑HTML格式文件？

    HTML文档如何工作？如何编辑HTML格式文件？HTML文档如何工作？如何编辑HTML格式文件？HTML文档如何工作？如何编辑HTML格式文件？HTML文档如何工作？如何编辑HTML格式文件？

    浏览器解析和渲染html的过程包括：1. 解析html构建dom树；2. 结合css构建渲染树；3. 布局计算元素位置；4. 绘制像素到屏幕。编辑html可使用记事本、vs code、sublime text等文本或代码编辑器，其中vs code因语法高亮、自动补全和插件生态成为主流选择。标准htm…

    程序猿的头像 程序猿
    2026年5月10日 • 用户投稿
    000
  • GolangWeb项目异常捕获与日志记录 用户投稿

    GolangWeb项目异常捕获与日志记录

    答案：通过中间件使用defer和recover捕获panic，结合zap等结构化日志库记录请求链路信息，为每个请求生成trace ID，实现异常捕获与可追踪日志，提升系统稳定性与可观测性。 在Go语言Web项目中，异常捕获与日志记录是保障系统稳定性和可维护性的关键环节。Go本身没有像其他语言那样的t…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • Python官网用户调查的参与方式_Python官网反馈提交详细教程 用户投稿

    Python官网用户调查的参与方式_Python官网反馈提交详细教程

    答案是通过访问Python官网新闻页面、邮件邀请链接或GitHub仓库提交反馈。具体为：访问官网查找用户调查公告，或点击邮件中的专属链接参与，在GitHub的cpython仓库提交技术建议，并注意如实填写问卷与保护隐私。 如果您希望参与Python官网的用户调查并提交反馈，可以通过官方指定的渠道完成…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • Go语言连接外部MySQL数据库：DSN配置与常见错误解析 用户投稿

    Go语言连接外部MySQL数据库：DSN配置与常见错误解析

    本文详细阐述了go语言使用`go-sql-driver/mysql`驱动连接外部mysql数据库的正确方法。重点介绍了数据源名称（dsn）的规范格式，特别是主机地址部分的配置，以避免常见的“getaddrinfow: the specified class was not found.”等网络解析错…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • Tensorflow 音乐预测 用户投稿

    Tensorflow 音乐预测

    在本文中，我展示了如何使用张量流来预测音乐风格。在我的示例中，我比较了电子音乐和古典音乐。 你可以在我的github上找到代码：https://github.com/victordalet/sound_to_partition i – 数据集 第一步，您需要创建一个数据集文件夹，并在里面…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 学习了Python的Flask后，Go语言的Web框架该选Gin还是Beego？ 用户投稿

    学习了Python的Flask后，Go语言的Web框架该选Gin还是Beego？

    学习编程时，选择合适的框架至关重要。许多开发者在掌握Python Flask后，转向Go语言Web开发时，常常在Gin和Beego之间难以抉择。本文将深入分析，助您做出明智选择。 虽然网上搜索结果多建议使用Go原生标准库http，但实际上所有框架都是对http的封装。虽然使用http开发灵活，但工作…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • JavaScript动态下拉菜单：实现日期选项与价格计算关联 用户投稿

    JavaScript动态下拉菜单：实现日期选项与价格计算关联

    在现代web应用中，动态生成表单元素并使其具备交互逻辑是常见的需求。特别是在需要根据用户选择调整价格或服务参数的场景下，下拉菜单（）常被用来展示一系列选项。本教程将指导您如何利用javascript动态生成一个包含日期选项的下拉菜单，并为每个选项关联一个具体的数值（如剩余天数），进而实现一个基于用户…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 如何在不暴露密钥的情况下，在客户端创建 Stripe Payment Link 用户投稿

    如何在不暴露密钥的情况下，在客户端创建 Stripe Payment Link

    本文介绍了在纯静态网站环境下，如何利用 Stripe Payment Link 实现商品售卖，并着重讨论了在不暴露 Stripe 密钥的前提下，客户端创建 Payment Link 的可行性。分析了直接在客户端使用密钥的风险，并提出了预先生成 Payment Link 或使用后端服务动态生成 Pay…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 解决Go语言中GOPATH未设置错误及工作区配置指南 用户投稿

    解决Go语言中GOPATH未设置错误及工作区配置指南

    本文旨在解决go语言开发中常见的“gopath not set”错误，并提供详细的go工作区配置指南。内容涵盖`gopath`环境变量的设置、go项目目录结构、`path`变量的扩展，以及一些高级配置技巧，旨在帮助开发者建立一个高效、规范的go开发环境，确保包的下载、编译和运行顺利进行。 Go语言在…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 掌握 JavaScript 中的高阶函数 用户投稿

    掌握 JavaScript 中的高阶函数

    现代 javascript 开发严重依赖函数式编程，掌握其基本思想将极大提高你的编码能力。 高阶函数是这个范式最有力的武器之一。为了帮助您掌握它们，本文将介绍它们的定义、应用程序和独特的实现。 1. 函数式编程 函数式编程是一种编程范式，强调： 纯函数：没有副作用的函数，对于相同的输入返回相同的输出…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • Golang使用assert库简化测试断言 用户投稿

    Golang使用assert库简化测试断言

    使用testify/assert库可提升Go测试代码的可读性和效率，通过go get github.com/stretchr/testify/assert安装后导入包，用assert.Equal等函数替代冗长的手动判断，支持丰富断言方法如Equal、True、Nil、Contains等，并可添加自定…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • 如何处理在线编辑HTML时外部链接验证的处理方法 用户投稿

    如何处理在线编辑HTML时外部链接验证的处理方法

    在线编辑HTML时需验证外部链接以保障安全与可用性，可通过自动检测标记外链并添加rel属性提升安全性；2. 实时验证链接有效性，利用HEAD请求检查状态码并在编辑界面提示结果；3. 配置可信域名白名单控制高风险链接输入，适用于合规要求高的场景；4. 提供友好反馈机制，对无效或可疑链接弹出提示并支持新…

    程序猿的头像 程序猿
    2026年5月10日
    000

  • 怎样为C++配置嵌入式AI开发环境 TensorFlow Lite Micro移植指南

    怎样为C++配置嵌入式AI开发环境 TensorFlow Lite Micro移植指南怎样为C++配置嵌入式AI开发环境 TensorFlow Lite Micro移植指南怎样为C++配置嵌入式AI开发环境 TensorFlow Lite Micro移植指南怎样为C++配置嵌入式AI开发环境 TensorFlow Lite Micro移植指南

    要在c++++项目中使用tensorflow lite micro进行嵌入式ai开发，关键步骤包括：1. 确定mcu平台并安装对应的交叉编译工具链；2. 配置python环境并安装必要的依赖包；3. 获取并裁剪tflm源码，保留核心模块；4. 将tflm静态库集成到c++工程中；5. 按照模型加载、…

    程序猿的头像 程序猿
    2026年5月10日 • 用户投稿
    000
  • Golang图片处理技巧 imaging库裁剪缩放 用户投稿

    Golang图片处理技巧 imaging库裁剪缩放

    答案：使用Go语言的imaging库可高效实现图片裁剪与缩放，其API简洁易用，支持多种缩放算法（如Lanczos、CatmullRom）以平衡质量与性能，提供Crop和CropAnchor两种裁剪方式实现精确区域控制，并建议通过算法选择、内存管理、并发处理和错误校验等策略优化性能与稳定性。 在Go…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 如何通过GitHub API高效获取超过100个用户列表（分页教程） 用户投稿

    如何通过GitHub API高效获取超过100个用户列表（分页教程）

    本教程旨在解决使用GitHub API获取用户列表时遇到的默认100个用户限制问题。我们将详细介绍两种主要的分页策略：利用Octokit库内置的paginate方法实现自动化分页，以及手动实现基于since参数的循环分页逻辑。文章将提供清晰的代码示例，并强调在不同场景下选择合适方法的注意事项，特别是…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • c语言里面字符是什么意思 用户投稿

    c语言里面字符是什么意思

    字符在 C 语言中以单个字节存储于 char 变量中，用单引号括起表示常量，例如 ‘A’。字符变量用于存储字符值，可使用函数如 putchar() 输出、getchar() 输入、toupper() 转换大小写。字符数组存储多个字符，如 char name[10]。字符串是带…

    程序猿的头像 程序猿
    2026年5月10日
    000

发表回复

登录后才能评论
关注微信