用视觉来做prompt，会带来怎样的体验？
只需在图中随意勾画一下，即可立即标出相同的类别！
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
即便是那种GPT-4V都难搞定的数米粒的环节。只需要你手动拉一下框，就能找出所有米粒来。
有了新的目标检测范式！
刚刚结束的IDEA年度大会上，IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋展示了最新研究成果——
基于视觉提示（Visual Prompt）模型T-Rex的内容需要进行改写
整个流程交互，开箱即用，只需几步就可以完成。
此前，Meta开源的SAM分割一切模型，直接让CV领域迎来了GPT-3时刻，但仍是基于文本prompt的范式，在应对一些复杂、罕见场景就会比较难办。
现在以图换图的方式，就能轻松迎刃而解。
除此之外，整场大会也是干货满满，比如Think-on-Graph知识驱动大模型、开发者平台MoonBit月兔、AI科研神器ReadPaper更新2.0、SPU机密计算协处理器、可控人像视频生成平台HiveNet等等。
最后，沈向洋还分享了过去几年时间花时间最多的一个项目：低空经济。
我相信在低空经济相对成熟的时候，每天会有10万架无人机在深圳的天空中，而每天都会有百万架无人机起飞
用视觉来做Prompt
T-Rex除了基础的单轮提示功能外，还支持三种进阶模式
多轮正例模式
这类似于多轮对话，可以得出更加精确的结果，避免漏检的情况
正例+负例模式
适用于视觉提示带有二义性造成误检的场景。
跨图模式可以重新设计和布局图表，以轻松地可视化数据和信息
通过使用一张参考图来检测其他图像
Qoder
阿里巴巴推出的AI编程工具
270 查看详情 
据介绍，T-Rex不受预定义类别限制，可利用视觉示例来指定检测目标，从而解决了某些物体难以用文字充分表达的问题，提高了提示效率。特别是在一些工业场景中的复杂组件等情况下，效果尤为明显
除此之外，通过与用户交互的方式，也可以随时快速地评估检测结果，并进行纠错等。
T-Rex的构成主要包括三个组件：图像编码器、提示编码器和框解码器
这项工作来自IDEA研究院计算机视觉与机器人研究中心。
该团队此前开源的目标检测模型DINO是首个在COCO目标检测上取得榜单第一的DETR类模型；在Github上大火（至今狂揽11K星）的零样本检测器Grounding DINO与能够检测、分割一切的Grounded SAM。更多技术细节可戳文末链接。
整场大会干货满满
除此之外，IDEA大会上还重点分享了几个研究成果。
比如Think-on-Graph知识驱动大模型，简单来说就是将大模型与知识图谱结合。
大模型擅长意图理解和自主学习，而知识图谱因其结构化的知识存储方式，更擅长逻辑链条推理。
Think-on-Graph通过驱动大模型agent在知识图谱上“思考”，逐步搜索推理出最优答案（在知识图谱的关联实体上一步一步搜索推理）。每一步推理中，大模型都亲自参与，与知识图谱相互取长补短。
MoonBit月兔，这是由Wasm驱动，专为云计算与边缘计算设计的开发者平台。
该系统不仅提供了通用程序语言设计，还融合了编译器、构建系统、集成开发环境（IDE）、部署工具等模块，以提升开发体验和效率
此前发布的科研神器ReadPaper也更新至2.0，发布会现场演示了阅读copilot、润色copilot等新功能。
发布会最后，沈向洋发布《低空经济发展白皮书（2.0）——全数字化方案》，在其智能融合低空系统（Smart Integrated Lower Airspace System，SILAS）中，提出时空进程（Temporal Spatial Process）新概念。
T-Rex链接：
https://trex-counting.github.io/
以上就是用视觉来做Prompt！沈向洋展示IDEA研究院新模型，无需训练或微调，开箱即用的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/954369.html
微信扫一扫 
支付宝扫一扫 
