原创投稿
  1. 创想鸟首页
  2. 用户投稿

文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了

程序猿 • • 用户投稿

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

文本、图像、点云任意模态输入，ai能够一键生成高质量cad模型了

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文第一作者为上海科技大学信息学院硕士生徐京伟和忆生科技的王晨宇，指导老师为香港大学的马毅教授和高盛华教授。王晨宇毕业于上海科技大学并获得工学硕士学位。其所在的忆生科技由马毅教授于 23 年底创立，致力于打造完整、自主、自洽的机器智能系统。

该项目由忆生科技联合香港大学、上海科技大学共同完成，是全球首个同时支持文本描述、图像、点云等多模态输入的计算机辅助设计（CAD）生成大模型。

云雀语言模型 云雀语言模型

云雀是一款由字节跳动研发的语言模型，通过便捷的自然语言交互，能够高效的完成互动对话

云雀语言模型 54 查看详情 云雀语言模型

计算机辅助设计（Computer-Aided Design，简称 CAD）软件是工业软件的重要分支，也是工业设计流程中的核心工具。然而，目前的 CAD 软件普遍缺乏简易的交互工具，这在一定程度上限制了未曾接触过 CAD 的用户尝试和探索的可能性。对于 CAD 建模从业者而言，多模态大模型技术的快速发展尚未充分转化为 CAD 领域实际应用的便利性和效率提升。如果能够通过多模态交互工具有效优化建模流程，提升效率、节约时间与精力，不仅可以进一步释放专业用户的创造潜能，还将为相关产业的发展注入新的活力。

为应对这一挑战，项目团队构建了首个覆盖文本、图像和点云输入的多模态 CAD 数据集 Omni-CAD。该数据集致力于赋能多模态大语言模型，使其能够基于条件输入生成高质量的 CAD 模型。与此同时，针对 CAD 模型的拓扑质量、空间封闭性等核心属性，团队还设计了一系列创新的评估指标，为模型性能提供更全面的衡量标准。借助这一技术，用户只需输入简单的文本指令，或上传目标形状的图像，即可快速生成符合要求的 CAD 模型。这一突破不仅降低了非专业用户的使用门槛，激发了更多人参与 CAD 设计的兴趣，还为 CAD 建模从业者提供了高效可靠的工具支持。

文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了
论文标题：CAD-MLLM: Unifying Multimodality-Conditioned CAD Generation With MLLM
论文地址：https://arxiv.org/pdf/2411.04954
项目主页：https://cad-mllm.github.io/
研究背景计算机辅助设计（CAD）技术通过数字化工具，帮助设计师创建、修改和优化复杂对象，广泛应用于工业设计与制造。但传统的流程较为复杂，对专业知识有较高要求，导致非专业用户难以参与设计。如何降低使用门槛，让非专业人士通过简单指令完成设计构想，已成为该领域亟待解决的挑战之一。尽管之前一些工作已经在探索 CAD 的生成任务，但这些方法抑或难以满足用户对交互设计的需求，抑或只能针对特定的输入进行生成，因此我们希望提供一个统一的框架能够处理不同或多种输入条件的 CAD 生成任务。
而另一方面，尽管多模态大模型（MLLMs）展现了跨模态生成的潜力，但在 CAD 领域依然面临挑战。尤其是在如何高效表征各种模态和 CAD 模型上，同时，数据集匮乏问题也一直是一大瓶颈。因此，我们提出了 CAD-MLLM，首个支持文本、图像和点云三种模态及其组合模态输入的以命令序列来表征的参数化 CAD 大模型，并搭配构建了一个超过 45 万条数据的多模态 CAD 数据集 Omni-CAD，推进该领域的研究。文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了
技术创新
1. 首个支持多模态输入的参数化 CAD 生成多模态大模型
我们提出了一个能够同时处理文本、图像和点云，最多三种模态输入数据的模型。图像和点云输入首先通过一个冻结的编码器提取特征，经投影层对齐到大语言模型（LLM）的特征空间。随后，将各种模态的特征进行整合，并利用低秩适应（LoRA）对 LLM 进行微调，实现基于多模态输入数据的精确 CAD 模型生成。
文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了
2. 首个多模态 CAD 数据集
为了支持模型训练，我们设计了一套全面的数据构造和标注管道，构建了包含 45 万条的多模态 CAD 模型数据集 Omni-CAD。每条数据包含对应的 CAD 模型构造命令序列，以及文本描述、8 个不同视角的图像（下图随机挑其中 4 个视角展示）以及点云数据，极大地填补了 CAD 多模态数据资源的空白，也有助于推动 CAD 生成领域的进一步发展。
文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了
文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了
3. 评估指标
在评估指标上，之前的工作更多聚焦在模型的重建质量和结构保真度上，而我们针对 CAD 模型的特性，基于最终生成的 CAD 模型的拓扑质量和空间封闭性，创新性地提出了四种量化指标。其中，Segment Error（SegE）检测 CAD 模型节点连接分段的准确性，Dangling Edge Length (DangEL) 评估悬边的比例来衡量生成模型流形的保真度，Self-Intersection Ratio (SIR) 检测生成模型中的自相交面问题。而 Flux Enclosure Error (FluxEE) 则通过高斯散度原理，计算常矢量场穿过生成表面的通量，评估模型的空间封闭性。
性能评估
1. 基于点云的 CAD 模型生成性能
我们与多个点云重建或者基于点云生成的基准工作进行比较，评测结果展示出我们的方法在重建精度上表现出色。而在拓扑完整性的评估上，我们模型生成的 CAD 模型大多数生成结果都能保持严格的流形结构，没有出现悬边，具有较高的拓扑完整性。相比之下，基准模型在重建结果中往往存在许多悬空边缘（如图中蓝线所示）。
文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了
文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了
文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了
2. 鲁棒性测评
在基于点云生成 CAD 模型的比较实验中，我们针对两种受干扰的输入数据的情况进行了测评：添加噪声的点云数据及部分点缺失的点云数据。在从测试集中随机挑选的 1000 个样本上，使用 Chamfer Distance 来衡量生成结果，在两种情况下，CAD-MLLM 的性能均优于基线工作，特别是在一些极端条件下，依然展现出了良好的性能。
文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了
文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了
3. 多模态数据训练必要性测评

我们通过三个实际场景来展示多模态数据训练对于模型生成能力的辅助提升，1）裁剪的点云数据；2）带有噪声的点云数据；3）双视角图像输入。以上三种情况，单一模态数据的训练，会由于细节丢失或者视角限制使得输入信息的不准确，进而导致生成结果的不完整或者不精准，而加入完整的模型的文本描述，可有效弥补未观测到的部分，生成更为完整、精确的 CAD 模型。
文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了

以上就是文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/406932.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

413.8K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
Windows BlueKeep高危漏洞正在被攻击
上一篇 2025年11月6日 21:42:31
win8系统磁盘写保护无法解除_win8硬盘被锁定的解锁步骤
下一篇 2025年11月6日 21:42:38

相关推荐

  • X旗下Grok上线即时语音搜索，挑战Google引领搜索新方向 用户投稿

    X旗下Grok上线即时语音搜索，挑战Google引领搜索新方向

    近日，x平台旗下的ai助手grok正式推出了“即时语音搜索”功能。用户现在可以通过语音直接提问，触发实时网页检索，并迅速获得整合后的精准答案。此举意在优化信息获取流程，推动人机交互向更自然、高效的方向演进。 该语音搜索模式实现了“即说即搜即答”的流畅体验。例如，当用户提出“星舰发射的具体时间是什么？…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • 如何备份VSCode的全部设置和扩展？ 用户投稿

    如何备份VSCode的全部设置和扩展？

    备份VSCode全部设置和扩展需保存配置文件与扩展目录；2. 配置文件位于各系统指定路径的User文件夹内，包含settings.json和keybindings.json；3. 通过code –list-extensions导出扩展列表并用xargs批量重装可恢复扩展；4. 推荐直接复…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • Laravel应用的安全审计（Security Audit）方法 用户投稿

    Laravel应用的安全审计（Security Audit）方法

    进行安全审计对laravel应用至关重要，因为它能发现并修复安全漏洞，提升整体安全性和用户信任度。具体方法包括：1. 代码审查，确保无未过滤输入和弱密码；2. 配置文件安全性，保护敏感信息；3. 依赖管理，更新第三方包；4. 用户认证和授权，防止未授权访问；5. 日志和监控，检测异常行为。 在讨论L…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • Laravel 8 登录后重定向到仪表盘的全面指南 用户投稿

    Laravel 8 登录后重定向到仪表盘的全面指南

    本文深入探讨了 Laravel 8 中用户登录后重定向到仪表盘的多种策略。我们将详细解析默认的重定向机制，包括 LoginController 和 RedirectIfAuthenticated 中间件，并重点介绍如何通过自定义登录逻辑实现精确的重定向控制，同时提供示例代码和常见问题排查建议，确保用…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • Guava Multimap：高效获取并打印指定键的所有关联值 用户投稿

    Guava Multimap：高效获取并打印指定键的所有关联值

    guava multimap是处理一键多值映射关系的强大工具。要获取特定键的所有关联值，应直接使用其提供的`multimap#get(k)`方法。该方法会返回一个包含所有匹配值的`collection`，即使键不存在，也会返回一个空集合而非`null`，从而简化了值检索和空值处理逻辑，是比手动迭代键…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • 控制台命令（Console Command）开发 用户投稿

    控制台命令（Console Command）开发

    控制台命令是程序员日常工作中不可或缺的工具，它提高了开发效率并帮助理解和控制程序运行。1) 通过简单的文本输入，完成复杂任务，如文件管理和系统监控。2) 控制台命令可用于快速调试、测试代码和自动化重复工作。3) 开发控制台命令时需注意安全性和兼容性问题。4) 控制台命令可实现有趣功能，如监控服务器资…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • 链路追踪（OpenTelemetry/Jaeger）集成 用户投稿

    链路追踪（OpenTelemetry/Jaeger）集成

    要将opentelemetry和jaeger集成到java应用中，需按以下步骤操作：1.配置jaeger exporter，2.初始化opentelemetry，3.创建并管理span。通过这种方式，你可以有效地追踪和分析微服务间的调用链路，提升系统性能。 在现代微服务架构中，链路追踪已经成为诊断和…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • Linux如何恢复被删除的用户数据 用户投稿

    Linux如何恢复被删除的用户数据

    恢复Linux被删数据需立即停用磁盘并使用photorec或extundelete等工具，结合快照或备份可提高恢复成功率。 恢复Linux中被删除的用户数据，并非易事，但并非完全不可能。可能性取决于数据被删除的方式、删除后系统是否被继续使用，以及是否采取了合适的预防措施。核心在于理解数据删除的机制，…

    程序猿的头像 程序猿
    2026年9月21日
    200
  • Maingear电脑黑屏问题如何修复？专业级主机BIOS设置方法详尽 用户投稿

    Maingear电脑黑屏问题如何修复？专业级主机BIOS设置方法详尽

    Maingear电脑黑屏问题通常由BIOS设置、硬件接触不良或显示输出配置引起。首先应尝试进入BIOS，检查并调整显卡输出模式为PCIe/PEG，确保未误设为集成显卡；排查PCIe插槽模式兼容性，必要时切换为Gen3或Auto；若启动异常，可尝试切换UEFI/Legacy模式或恢复BIOS默认设置（…

    程序猿的头像 程序猿
    2026年9月21日
    000

  • 实测！Sora 2长视频优势大，Vidu Q2细节处理更胜一筹

    近日，AI视频工具领域的竞争愈发激烈。OpenAI推出的Sora 2刚刚登顶美区App Store榜单，国产新秀Vidu Q2便携重磅升级版本强势入局，引发广泛关注。不少从事自媒体创作与影视剪辑的朋友都在思考：这两款AI视频生成器，究竟谁更胜一筹？出于好奇，我亲自上手实测了一番，发现两者之间的差异更…

    程序猿的头像 程序猿
    用户投稿 2026年9月21日
    000
  • Java Stream 高效分组计数并获取Top N元素 用户投稿

    Java Stream 高效分组计数并获取Top N元素

    本文深入探讨了如何利用java stream api对数据进行高效的分组计数，并从中提取出现频率最高的top n元素。文章首先介绍了一种简洁的基于全排序的实现方式，该方法适用于数据集较小或top n值接近总数的情况。随后，针对大数据量和小型top n场景下的性能瓶颈，文章详细阐述了如何通过自定义`c…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • mysql安装后如何优化配置文件 用户投稿

    mysql安装后如何优化配置文件

    答案：优化MySQL配置需先定位配置文件，再根据硬件和业务调整内存、InnoDB、连接等核心参数。具体包括设置innodb_buffer_pool_size为物理内存50%~70%，合理配置日志参数与连接数，启用慢查询日志，并使用工具辅助调优，避免过度配置，确保稳定高效。 MySQL 安装后，优化配…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • mac怎么阻止特定app访问网络_Mac阻止应用访问网络方法 用户投稿

    mac怎么阻止特定app访问网络_Mac阻止应用访问网络方法

    可通过系统防火墙、hosts文件、第三方工具或pf防火墙阻止应用联网。首先，macOS内置防火墙可阻断入站连接，需在“系统设置-网络-防火墙”中添加应用并启用阻止；其次，编辑/etc/hosts文件，将目标域名指向127.0.0.1可屏蔽其网络访问，需刷新DNS缓存生效；再者，使用Little Sn…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • VSCode的括号匹配功能如何自定义？ 用户投稿

    VSCode的括号匹配功能如何自定义？

    可通过 settings.json 自定义括号高亮的边框和背景色；2. 用 editor.matchBrackets 控制是否启用高亮；3. 启用 bracketPairColorization 可为嵌套括号着色；4. 使用 Ctrl/Cmd + Shift + 快速跳转配对括号。 VSCode 的…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • 马斯克xAI的Grok将推AI视频检测工具，能否破解深度伪造难题？ 用户投稿

    马斯克xAI的Grok将推AI视频检测工具，能否破解深度伪造难题？

    随着ai视频生成技术飞速渗透网络，深度伪造内容不断扩散，网络信息真实性面临前所未有的挑战。在此背景下，马斯克的xai公司的grok模型即将推出一项关键升级，打造一款“真伪侦探”工具。 近日，马斯克在X平台回应网友担忧时表示，Grok即将获得识别AI生成视频并追踪其网络来源的能力，以此应对深度伪造内容…

    程序猿的头像 程序猿
    2026年9月21日
    000

  • AI推文助手如何生成节日祝福 AI推文助手的情感连接内容创作

    AI推文助手如何生成节日祝福 AI推文助手的情感连接内容创作AI推文助手如何生成节日祝福 AI推文助手的情感连接内容创作AI推文助手如何生成节日祝福 AI推文助手的情感连接内容创作AI推文助手如何生成节日祝福 AI推文助手的情感连接内容创作

    答案：通过AI推文助手的节日模板、情感关键词、用户数据定制和多语言混合策略，可高效生成个性化祝福，增强受众情感连接。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 如果您希望借助AI推文助手在节日期间传递温暖的祝福，同时增强与受众的情感连接…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    000
  • 如何通过命令行参数启动VSCode？ 用户投稿

    如何通过命令行参数启动VSCode？

    掌握VSCode命令行用法可提升开发效率，需先安装code命令到PATH，之后可用code .打开目录、code 文件名打开文件、code –diff比较文件、–disable-extensions排查问题，并支持别名与Shell结合使用。 通过命令行启动 VSCode 是一…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • 万人同时在线抽奖活动架构 用户投稿

    万人同时在线抽奖活动架构

    万人同时在线抽奖活动的系统架构应采用微服务架构、分布式数据库、redis缓存、区块链存储结果，并使用负载均衡和异步处理技术。具体包括：1.采用微服务架构和分布式数据库（如tidb）保证系统稳定性和可扩展性；2.使用redis处理抽奖逻辑，确保高效和随机性；3.将结果存入区块链，保证透明度和可验证性；…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • 小可AI小程序入口链接_小可AI小程序官方地址 用户投稿

    小可AI小程序入口链接_小可AI小程序官方地址

    小可AI小程序官方入口为https://xcx.xiaokeai.com.cn，用户可在社交平台搜索使用；平台支持多轮对话、文本生成、图像理解及语音转文字功能，界面简洁、响应迅速，具备历史记录查看与持续优化的智能算法。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepS…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • Linux文件和目录管理常见命令 用户投稿

    Linux文件和目录管理常见命令

    Linux文件和目录管理依赖于ls、cd、mkdir、rm、cp、mv等核心命令，用于浏览、创建、删除、复制和移动文件与目录；通过find、du、grep等命令可查找文件、定位大文件并清理磁盘空间；使用rename、mmv或脚本可实现批量重命名；为安全起见，应谨慎使用rm命令，推荐结合-i选项或使用…

    程序猿的头像 程序猿
    2026年9月21日
    000

发表回复

登录后才能评论
关注微信