投稿获客
广告
广告 广告 广告
广告 广告 广告 广告
广告 █ 推荐【菠萝云】香港16G内存99元 【CDNCloud】极速、安全可靠的加速体验 广告位联系QQ：253000106 【UStat】免费网站统计平台 SSL证书低至2折 单域名36元起 免费测试！海总一手APK免杀处理 广告位联系QQ：253000106 CDN 服务器 反炸 劫持 域名屏蔽 【UStat】专业网站统计平台 域名注册：海量域名快速注册 安卓免杀 谷歌报毒 封装 苹果签名 广告位联系QQ：253000106 【域名被劫持污染如何处理】 安卓免杀★超级签★封装★谷歌屏蔽 广告位联系QQ：253000106

*本站广告为第三方投放，如发生纠纷，请向本站索取第三方联系方式沟通

  1. 创想鸟首页
  2. 科技

ECCV 2024 | 提升GPT-4V、Gemini检测任务性能，你需要这种提示范式

程序猿 • • 科技 • 阅读 0
ECCV 2024 | 提升GPT-4V、Gemini检测任务性能，你需要这种提示范式
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文作者来自浙江大学、上海人工智能实验室、香港中文大学、悉尼大学和牛津大学。作者列表：吴逸璇，王逸舟，唐诗翔，吴文灏，贺通，wanli ouyang，philip torr，jian wu。其中，共同第一作者吴逸璇是浙江大学博士生，王逸舟是上海人工智能实验室科研助理。通讯作者唐诗翔是香港中文大学博士后研究员。

多模态大模型（Multimodal Large Language Models，MLLMs）在不同的任务中表现出了令人印象深刻的能力，尽管如此，这些模型在检测任务中的潜力仍被低估。在复杂的目标检测任务中需要精确坐标时，MLLMs 带有的幻觉又让它常常错过目标物体或给出不准确的边界框。为了让 MLLMs 赋能检测，现有的工作不仅需要收集大量高质量的指令数据集，还需要对开源模型进行微调。费时费力的同时，也无法利用闭源模型更强大的视觉理解能力。为此，浙江大学联合上海人工智能实验室和牛津大学提出了 DetToolChain，一种释放多模态大语言模型检测能力的新提示范式。不需要训练就能让多模态大模型学会精确检测。相关研究已经被 ECCV 2024 收录。
为了解决 MLLM 在检测任务上的问题，DetToolChain 从三个点出发：（1）针对检测设计视觉提示（visual prompts），比传统的文字提示（textual prompts）更直接有效的让 MLLM 理解位置信息，（2）把精细的检测任务拆解成小而简单的任务，（3）利用 chain-of-thought 逐步优化检测结果，也尽可能的避免多模态大模型的幻觉。 
与上述的 insights 对应，DetToolChain 包含两个关键设计：（1）一套全面的视觉处理提示（visual processing prompts），直接在图像中绘制，可以显著缩小视觉信息和文本信息之间的差距。（2）一套全面的检测推理提示 (detection reasoning prompts)，增强对检测目标的空间理解，并通过样本自适应的检测工具链逐步确定最终的目标精确位置。
通过将 DetToolChain 与 MLLM 结合，如 GPT-4V 和 Gemini，可以在无需指令调优的情况下支持各种检测任务，包括开放词汇检测、描述目标检测、指称表达理解和定向目标检测。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

ECCV 2024 | 提升GPT-4V、Gemini检测任务性能，你需要这种提示范式

论文标题：DetToolChain: A New Prompting Paradigm to Unleash Detection Ability of MLLM
论文链接：https://arxiv.org/abs/2403.12488
什么是 DetToolChain？

ECCV 2024 | 提升GPT-4V、Gemini检测任务性能，你需要这种提示范式

                                图 1 DetToolChain 的整体框架
如图 1 所示，对于给定的查询图像，MLLM 被指示进行以下步骤：
I. Formatting：将任务的原始输入格式转化为适当的指令模板，作为 MLLM 的输入；
II. Think：将特定的复杂检测任务分解为更简单的子任务，并从检测提示工具包中选择有效的提示（prompts）；
III. Execute：按顺序迭代执行特定的提示（prompts）；
IV. Respond：运用 MLLM 其自身的推理能力来监督整个检测过程并返回最终响应（final answer）。
检测提示工具包：Visual Processing Prompts

ECCV 2024 | 提升GPT-4V、Gemini检测任务性能，你需要这种提示范式

图 2：visual processing prompts 的示意图。我们设计了 (1) Regional Amplifier, (2) Spatial Measurement Standard,  (3) Scene Image Parser，从不同的角度来提升 MLLMs 的检测能力。
如图 2 所示，(1) Regional Amplifier 旨在增强 MLLMs 对感兴趣区域（ROI）的可见性，包括将原始图像裁剪成不同部分子区域，重点关注目标物体所在子区域；此外，放大功能则使得可以对图像中特定子区域进行细粒度观察。
(2) Spatial Measurement Standard 通过在原始图像上叠加带有线性刻度的尺子和指南针，为目标检测提供更明确的参考，如图 2 (2) 所示。辅助尺子和指南针使 MLLMs 能够利用叠加在图像上的平移和旋转参考输出准确的坐标和角度。本质上，这一辅助线简化了检测任务，使 MLLMs 能够读取物体的坐标，而不是直接预测它们。
(3) Scene Image Parser 标记预测的物体位置或关系，利用空间和上下文信息实现对图像的空间关系理解。Scene Image Parser 可以分为两类：首先，针对单个目标物体，我们用质心、凸包和带标签名称及框索引的边界框标记预测的物体。这些标记以不同格式表示物体位置信息，使 MLLM 能够检测不同形状和背景的多样物体，特别是形状不规则或被大量遮挡的物体。例如，凸包标记器标记物体的边界点并将其连接为凸包，以增强对形状非常不规则的物体的检测性能。其次，针对多目标，我们通过场景图标记器（scene graph marker）连接不同物体的中心，以突出图像中物体之间的关系。基于场景图，MLLM 可以利用其上下文推理能力来优化预测的边界框并避免幻觉。例如，如图 2 (3) 所示，Jerry 要吃奶酪，因此它们的 bounding box 应该非常接近。
检测提示工具包：Detection Reasoning Prompts

ECCV 2024 | 提升GPT-4V、Gemini检测任务性能，你需要这种提示范式

为了提高预测框的可靠性，我们进行了检测推理提示（如表 1 所示），以检查预测结果并诊断可能存在的潜在问题。首先，我们提出了 Problem Insight Guider，突出困难问题并为查询图像提供有效的检测建议和相似例子。例如，针对图 3，Problem Insight Guider 将该查询定义为小物体检测的问题，并建议通过放大冲浪板区域来解决它。其次，为了利用 MLLMs 固有的空间和上下文能力，我们设计了 Spatial Relationship Explorer 和 Contextual Object Predictor，以确保检测结果符合常识。如图 3 所示，冲浪板可能与海洋共现（上下文知识），而冲浪者的脚附近应该有一个冲浪板（空间知识）。此外，我们应用 Self-Verification Promoter 来增强多轮响应的一致性。为了进一步提升 MLLMs 的推理能力，我们采用了广泛应用的 prompting 方法，例如 debating 和 self-debugging 等。详细描述请见原文。

ECCV 2024 | 提升GPT-4V、Gemini检测任务性能，你需要这种提示范式

新CG儿 新CG儿

数字视觉分享平台 | AE模板_视频素材

新CG儿 412 查看详情 新CG儿

                    图 3 检测推理提示可以帮助 MLLMs 解决小物体检测问题，例如，利用常识定位人脚下的冲浪板，并鼓励模型在海洋中检测冲浪板。

ECCV 2024 | 提升GPT-4V、Gemini检测任务性能，你需要这种提示范式

                                图 4  一个 DetToolChain 应用于旋转目标检测的例子（HRSC2016 数据集）
实验：免训练也能超越微调方法

ECCV 2024 | 提升GPT-4V、Gemini检测任务性能，你需要这种提示范式

如表 2 所示，我们在 open vocabulary detection（OVD）上评估了我们的方法，测试了在 COCO OVD benchmark 中 17 个新类、48 个基础类和所有类的 AP50 结果。结果显示，使用我们的 DetToolChain，GPT-4V 和 Gemini 的性能均显著提升。

ECCV 2024 | 提升GPT-4V、Gemini检测任务性能，你需要这种提示范式

为了展示我们的方法在指称表达理解上的有效性，我们将我们的方法与其他零样本方法在 RefCOCO、RefCOCO + 和 RefCOCOg 数据集上进行了比较（表 5）。在 RefCOCO 上，DetToolChain 使得 GPT-4V 基线在 val、test-A 和 test-B 上的性能分别提升了 44.53%、46.11% 和 24.85%，展示了 DetToolChain 在 zero-shot 条件下优越的指称表达理解和定位性能。

以上就是ECCV 2024 | 提升GPT-4V、Gemini检测任务性能，你需要这种提示范式的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/792066.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

414.1K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月26日 14:42:21
下一篇 2025年11月26日 14:42:43

相关推荐

  • Uniapp 中如何不拉伸不裁剪地展示图片？ 好文分享

    Uniapp 中如何不拉伸不裁剪地展示图片？

    灵活展示图片：如何不拉伸不裁剪 在界面设计中，常常需要以原尺寸展示用户上传的图片。本文将介绍一种在 uniapp 框架中实现该功能的简单方法。 对于不同尺寸的图片，可以采用以下处理方式： 极端宽高比：撑满屏幕宽度或高度，再等比缩放居中。非极端宽高比：居中显示，若能撑满则撑满。 然而，如果需要不拉伸不…

    程序猿的头像 程序猿
    2025年12月24日
    400
  • 如何让小说网站控制台显示乱码，同时网页内容正常显示？ 好文分享

    如何让小说网站控制台显示乱码，同时网页内容正常显示？

    如何在不影响用户界面的情况下实现控制台乱码？ 当在小说网站上下载小说时，大家可能会遇到一个问题：网站上的文本在网页内正常显示，但是在控制台中却是乱码。如何实现此类操作，从而在不影响用户界面（UI）的情况下保持控制台乱码呢？ 答案在于使用自定义字体。网站可以通过在服务器端配置自定义字体，并通过在客户端…

    程序猿的头像 程序猿
    2025年12月24日
    800
  • 如何在地图上轻松创建气泡信息框？ 好文分享

    如何在地图上轻松创建气泡信息框？

    地图上气泡信息框的巧妙生成 地图上气泡信息框是一种常用的交互功能，它简便易用，能够为用户提供额外信息。本文将探讨如何借助地图库的功能轻松创建这一功能。 利用地图库的原生功能 大多数地图库，如高德地图，都提供了现成的信息窗体和右键菜单功能。这些功能可以通过以下途径实现： 高德地图 JS API 参考文…

    程序猿的头像 程序猿
    2025年12月24日
    400
  • 如何使用 scroll-behavior 属性实现元素scrollLeft变化时的平滑动画？ 好文分享

    如何使用 scroll-behavior 属性实现元素scrollLeft变化时的平滑动画？

    如何实现元素scrollleft变化时的平滑动画效果？ 在许多网页应用中，滚动容器的水平滚动条（scrollleft）需要频繁使用。为了让滚动动作更加自然，你希望给scrollleft的变化添加动画效果。 解决方案：scroll-behavior 属性 要实现scrollleft变化时的平滑动画效果…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何为滚动元素添加平滑过渡，使滚动条滑动时更自然流畅？ 好文分享

    如何为滚动元素添加平滑过渡，使滚动条滑动时更自然流畅？

    给滚动元素平滑过渡 如何在滚动条属性（scrollleft）发生改变时为元素添加平滑的过渡效果？ 解决方案：scroll-behavior 属性 为滚动容器设置 scroll-behavior 属性可以实现平滑滚动。 html 代码： click the button to slide right!…

    程序猿的头像 程序猿
    2025年12月24日
    500
  • 如何选择元素个数不固定的指定类名子元素？ 好文分享

    如何选择元素个数不固定的指定类名子元素？

    灵活选择元素个数不固定的指定类名子元素 在网页布局中，有时需要选择特定类名的子元素，但这些元素的数量并不固定。例如，下面这段 html 代码中，activebar 和 item 元素的数量均不固定： *n *n 如果需要选择第一个 item元素，可以使用 css 选择器 :nth-child()。该…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • 使用 SVG 如何实现自定义宽度、间距和半径的虚线边框？ 好文分享

    使用 SVG 如何实现自定义宽度、间距和半径的虚线边框？

    使用 svg 实现自定义虚线边框 如何实现一个具有自定义宽度、间距和半径的虚线边框是一个常见的前端开发问题。传统的解决方案通常涉及使用 border-image 引入切片图片，但是这种方法存在引入外部资源、性能低下的缺点。 为了避免上述问题，可以使用 svg（可缩放矢量图形）来创建纯代码实现。一种方…

    程序猿的头像 程序猿
    2025年12月24日
    100
  • 如何让``元素跟随文本高度，而不是撑高父容器？ 好文分享

    如何让“元素跟随文本高度，而不是撑高父容器？

    如何让 元素跟随文本高度，而不是撑高父容器 在页面布局中，经常遇到父容器高度被子元素撑开的问题。在图例所示的案例中，父容器被较高的图片撑开，而文本的高度没有被考虑。本问答将提供纯css解决方案，让图片跟随文本高度，确保父容器的高度不会被图片影响。 解决方法 为了解决这个问题，需要将图片从文档流中脱离…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 为什么 CSS mask 属性未请求指定图片？ 好文分享

    为什么 CSS mask 属性未请求指定图片？

    解决 css mask 属性未请求图片的问题 在使用 css mask 属性时，指定了图片地址，但网络面板显示未请求获取该图片，这可能是由于浏览器兼容性问题造成的。 问题 如下代码所示： 立即学习“前端免费学习笔记（深入）”； icon [data-icon=”cloud”] { –icon-cl…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • 如何利用 CSS 选中激活标签并影响相邻元素的样式？ 好文分享

    如何利用 CSS 选中激活标签并影响相邻元素的样式？

    如何利用 css 选中激活标签并影响相邻元素？ 为了实现激活标签影响相邻元素的样式需求，可以通过 :has 选择器来实现。以下是如何具体操作： 对于激活标签相邻后的元素，可以在 css 中使用以下代码进行设置： li:has(+li.active) { border-radius: 0 0 10px…

    程序猿的头像 程序猿
    2025年12月24日
    100
  • 如何模拟Windows 10 设置界面中的鼠标悬浮放大效果？ 好文分享

    如何模拟Windows 10 设置界面中的鼠标悬浮放大效果？

    win10设置界面的鼠标移动显示周边的样式（探照灯效果）的实现方式 在windows设置界面的鼠标悬浮效果中，光标周围会显示一个放大区域。在前端开发中，可以通过多种方式实现类似的效果。 使用css 使用css的transform和box-shadow属性。通过将transform: scale(1.…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • 为什么我的 Safari 自定义样式表在百度页面上失效了？ 好文分享

    为什么我的 Safari 自定义样式表在百度页面上失效了？

    为什么在 Safari 中自定义样式表未能正常工作？ 在 Safari 的偏好设置中设置自定义样式表后，您对其进行测试却发现效果不同。在您自己的网页中，样式有效，而在百度页面中却失效。 造成这种情况的原因是，第一个访问的项目使用了文件协议，可以访问本地目录中的图片文件。而第二个访问的百度使用了 ht…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何用前端实现 Windows 10 设置界面的鼠标移动探照灯效果？ 好文分享

    如何用前端实现 Windows 10 设置界面的鼠标移动探照灯效果？

    如何在前端实现 Windows 10 设置界面中的鼠标移动探照灯效果 想要在前端开发中实现 Windows 10 设置界面中类似的鼠标移动探照灯效果，可以通过以下途径： CSS 解决方案 DEMO 1: Windows 10 网格悬停效果：https://codepen.io/tr4553r7/pe…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 使用CSS mask属性指定图片URL时，为什么浏览器无法加载图片？ 好文分享

    使用CSS mask属性指定图片URL时，为什么浏览器无法加载图片？

    css mask属性未能加载图片的解决方法 使用css mask属性指定图片url时，如示例中所示： mask: url(“https://api.iconify.design/mdi:apple-icloud.svg”) center / contain no-repeat; 但是，在网络面板中却…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何用CSS Paint API为网页元素添加时尚的斑马线边框？ 好文分享

    如何用CSS Paint API为网页元素添加时尚的斑马线边框？

    为元素添加时尚的斑马线边框 在网页设计中，有时我们需要添加时尚的边框来提升元素的视觉效果。其中，斑马线边框是一种既醒目又别致的设计元素。 实现斜向斑马线边框 要实现斜向斑马线间隔圆环，我们可以使用css paint api。该api提供了强大的功能，可以让我们在元素上绘制复杂的图形。 立即学习“前端…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 图片如何不撑高父容器？ 好文分享

    图片如何不撑高父容器？

    如何让图片不撑高父容器？ 当父容器包含不同高度的子元素时，父容器的高度通常会被最高元素撑开。如果你希望父容器的高度由文本内容撑开，避免图片对其产生影响，可以通过以下 css 解决方法： 绝对定位元素： .child-image { position: absolute; top: 0; left: …

    程序猿的头像 程序猿
    2025年12月24日
    000

  • CSS 帮助

    我正在尝试将文本附加到棕色框的左侧。我不能。我不知道代码有什么问题。请帮助我。 css .hero { position: relative; bottom: 80px; display: flex; justify-content: left; align-items: start; color:…

    程序猿的头像 程序猿
    2025年12月24日 • 好文分享
    200
  • 前端代码辅助工具：如何选择最可靠的AI工具？ 好文分享

    前端代码辅助工具：如何选择最可靠的AI工具？

    前端代码辅助工具：可靠性探讨 对于前端工程师来说，在HTML、CSS和JavaScript开发中借助AI工具是司空见惯的事情。然而，并非所有工具都能提供同等的可靠性。 个性化需求 关于哪个AI工具最可靠，这个问题没有一刀切的答案。每个人的使用习惯和项目需求各不相同。以下是一些影响选择的重要因素： 立…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何用 CSS Paint API 实现倾斜的斑马线间隔圆环？ 好文分享

    如何用 CSS Paint API 实现倾斜的斑马线间隔圆环？

    实现斑马线边框样式：探究 css paint api 本文将探究如何使用 css paint api 实现倾斜的斑马线间隔圆环。 问题： 给定一个有多个圆圈组成的斑马线图案，如何使用 css 实现倾斜的斑马线间隔圆环？ 答案： 立即学习“前端免费学习笔记（深入）”； 使用 css paint api…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何使用CSS Paint API实现倾斜斑马线间隔圆环边框？ 好文分享

    如何使用CSS Paint API实现倾斜斑马线间隔圆环边框？

    css实现斑马线边框样式 想定制一个带有倾斜斑马线间隔圆环的边框？现在使用css paint api，定制任何样式都轻而易举。 css paint api 这是一个新的css特性，允许开发人员创建自定义形状和图案，其中包括斑马线样式。 立即学习“前端免费学习笔记（深入）”； 实现倾斜斑马线间隔圆环 …

    程序猿的头像 程序猿
    2025年12月24日
    100

发表回复

登录后才能评论
关注微信