原创投稿
  1. 创想鸟首页
  2. 用户投稿

Exciting！GPT-4V在自动驾驶中初探

程序猿 • • 用户投稿

update: 增加了一个新的例子，%ignore_a_1%配送车驶入新浦水泥地

万众瞩目之下，今天GPT4终于推送了vision相关的功能。今天下午抓紧和小伙伴一起测试了一下GPT对于图像感知的能力，虽有预期，但是还是大大震惊了我们。TL;DR 就是我认为自动驾驶中和语义相关的问题应该大模型都已经解决得很好了，但是大模型的可信性和空间感知能力方面仍然不尽如人意。解决一些所谓和效率相关的corner case应该是绰绰有余，但是想完全依赖大模型去独立完成驾驶保证安全性仍然十分遥远。

1 Example1: 路上出现了一些未知障碍物

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Exciting！GPT-4V在自动驾驶中初探

Exciting！GPT-4V在自动驾驶中初探

GPT4的描述

准确的部分：检测到了3辆卡车，前车车牌号基本正确（有汉字就忽略吧），天气和环境正确，在没有提示的情况下准确识别到了前方的未知障碍物

不准确的部分：第三辆卡车的位置左右不分，第二辆卡车头顶的文字瞎猜了一个（因为分辨率不足？）

这还不够，我们继续给一点提示，去问这个物体是什么，是不是可以压过去。

Exciting！GPT-4V在自动驾驶中初探

Impressive！类似的场景测试了多个，对于未知障碍物的表现可以说非常惊人了。

2 Example2: 路面积水的理解

Exciting！GPT-4V在自动驾驶中初探

没有提示能自动识别到标牌这个应该是基操了，我们继续给一些hint

Exciting！GPT-4V在自动驾驶中初探

再次被震惊了。。。能自动讲出来卡车背后的雾气，也主动提到了水坑，但是再一次把方向说成了左侧。。。感觉这里可能需要一些prompt engineering能更好的让GPT输出位置和方向。

3 Example3：有车辆掉头时直接撞上了护栏

Exciting！GPT-4V在自动驾驶中初探

第一帧输入进去，因为没有时序信息，只是将右侧的卡车当做是停靠的了。于是再来一帧：

无限画 无限画

千库网旗下AI绘画创作平台

无限画 467 查看详情 无限画

Exciting！GPT-4V在自动驾驶中初探

已经可以自动讲出，这两撞破了护栏，悬停在公路边缘，太棒了。。。但是反而看上去更容易的道路标志出现了错误。。。只能说，这很大模型了，它永远能震惊你也永远不知道什么时候能蠢哭你。。。再来一帧：

Exciting！GPT-4V在自动驾驶中初探

这次，直接讲到了路面上的碎片，再次赞叹。。。只不过有一次把路上的箭头说错了。。。总体而言，这个场景中需要特别关注的信息都有覆盖，道路标志这种问题，瑕不掩瑜吧

4 Example4: 来一个搞笑的

Exciting！GPT-4V在自动驾驶中初探

只能说非常到位了，相比之下之前看上去无比困难的“有个人冲着你挥了挥手”这样的case就像小儿科一样，语义上的corner case可解。

5 Example5 来一个名场面。。。配送车误入新修路

Exciting！GPT-4V在自动驾驶中初探

Exciting！GPT-4V在自动驾驶中初探

Exciting！GPT-4V在自动驾驶中初探

Exciting！GPT-4V在自动驾驶中初探

开始比较保守，并没有直接猜测原因，给了多种猜测，这个也倒是符合alignment的目标。使用CoT之后问题发现问题是在于并不了解这辆车是个自动驾驶车辆，故通过prompt给出这个信息能给出比较准确的信息。最后通过一堆prompt，能够输出新铺设沥青，不适合驾驶这样的结论。最终结果来说还是OK，但是过程比较曲折，需要比较多的prompt engineering，要好好设计。这个原因可能也是因为不是第一视角的图片，只能通过第三视角去推测。所以这个例子并不十分精确。

6 总结

快速的一些尝试已经完全证明了GPT4V的强大与泛化性能，适当的prompt应当可以完全发挥出GPT4V的实力。解决语义上的corner case应该非常可期，但幻觉的问题会仍然困扰着一些和安全相关场景中的应用。非常exciting，个人认为合理使用这样的大模型可以大大加快L4乃至L5自动驾驶的发展，然而是否LLM一定是要直接开车？尤其是端到端开车，仍然是一个值得商榷的问题。最近也有很多思考，找时间再来写个文章和大家聊聊~

Exciting！GPT-4V在自动驾驶中初探

原文链接：https://mp.weixin.qq.com/s/RtEek6HadErxXLSdtsMWHQ

以上就是Exciting！GPT-4V在自动驾驶中初探的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/872584.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

413.8K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
Linux如何实现网络测速工具_Linux带宽与延迟测试开发
上一篇 2025年11月28日 05:53:31
学信网App在哪里下载_学信网官方手机客户端下载安装教程
下一篇 2025年11月28日 05:53:32

相关推荐

  • 如何使用Ribbet的AI功能裁剪图片？快速实现精准图像裁剪 用户投稿

    如何使用Ribbet的AI功能裁剪图片？快速实现精准图像裁剪

    答案：Ribbet的AI裁剪功能可快速智能识别主体并推荐裁剪方案，支持手动微调与多种比例选择，结合亮度、色彩等编辑工具优化效果，适用于制作符合社交媒体尺寸要求的封面图，操作简便且大部分功能免费，适合追求效率的普通用户。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepS…

    程序猿的头像 程序猿
    2026年9月21日
    400
  • 卢伟冰：功能手机、智能手机之后 手机行业正进入新周期 用户投稿

    卢伟冰：功能手机、智能手机之后 手机行业正进入新周期

    9月4日，小米集团总裁卢伟冰表示，继功能机时代与智能机时代之后，全球手机产业正迈入一个全新时代。 卢伟冰今日在社交平台发文提到：“我从2002年进入手机行业，有幸完整见证了功能手机和智能手机两大发展阶段。如今，AI时代已经到来，整个行业正在酝酿深刻变革，步入全新的发展周期。” 回望过去，功能手机时期…

    程序猿的头像 程序猿
    2026年9月21日
    200
  • Java 正则表达式：查找双引号内所有指定字符串的出现次数 用户投稿

    Java 正则表达式：查找双引号内所有指定字符串的出现次数

    本文旨在解决在 Java 中使用正则表达式查找双引号内特定字符串（例如 “variant”）的所有出现次数的问题。我们将提供一个完整的解决方案，包括正则表达式的构建、代码示例以及详细的解释，帮助开发者准确高效地完成此类任务。 在 Java 中，使用正则表达式查找字符串中特定模…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • MySQL 大型历史数据表结构设计与优化指南 用户投稿

    MySQL 大型历史数据表结构设计与优化指南

    本文旨在为处理大量客户历史交易数据的MySQL数据库设计提供专业指导。我们将探讨如何构建高效、可扩展的表结构，重点关注主键设计、数据分区、实时数据摄入以及性能优化策略，以确保系统能够稳定支持百万级乃至亿级数据量的查询需求。 MySQL大型历史数据表结构设计与优化 在处理大量历史数据，特别是涉及到多用…

    程序猿的头像 程序猿
    2026年9月21日
    000

  • MySQL重复数据检测与清理逻辑_Sublime脚本批量处理历史冗余记录

    MySQL重复数据检测与清理逻辑_Sublime脚本批量处理历史冗余记录MySQL重复数据检测与清理逻辑_Sublime脚本批量处理历史冗余记录MySQL重复数据检测与清理逻辑_Sublime脚本批量处理历史冗余记录MySQL重复数据检测与清理逻辑_Sublime脚本批量处理历史冗余记录

    处理mysql重复数据的核心步骤是识别并清理，可使用group by或窗口函数定位重复项，再通过分批删除或倒腾法安全清理；sublime text可用于高效生成和编辑sql语句。1. 识别重复数据常用group by+having或row_number()窗口函数；2. 清理策略包括分批删除、使用临…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    100

  • 如何用PyTorch训练AI大模型？构建高效神经网络的完整教程

    如何用PyTorch训练AI大模型？构建高效神经网络的完整教程如何用PyTorch训练AI大模型？构建高效神经网络的完整教程如何用PyTorch训练AI大模型？构建高效神经网络的完整教程如何用PyTorch训练AI大模型？构建高效神经网络的完整教程

    PyTorch大模型训练需综合运用分布式训练、内存优化与高效计算策略。首先采用DistributedDataParallel实现多GPU并行，配合DistributedSampler确保数据均衡；通过混合精度训练、梯度累积和激活检查点缓解显存压力；使用torch.compile优化模型计算效率；选择…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    100

  • MySQL自动化性能测试方案_MySQL持续监控调优数据库效率

    MySQL自动化性能测试方案_MySQL持续监控调优数据库效率MySQL自动化性能测试方案_MySQL持续监控调优数据库效率MySQL自动化性能测试方案_MySQL持续监控调优数据库效率MySQL自动化性能测试方案_MySQL持续监控调优数据库效率

    mysql自动化性能测试和持续监控的核心在于构建闭环反馈系统，包含模拟真实负载、全面数据采集、自动化执行与分析、数据驱动的持续调优四大环节。①测试环境需与生产一致并隔离，使用docker、虚拟机或云沙盒，解决数据同步与脱敏问题；②负载生成工具如sysbench、jmeter、locust或自定义脚本…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    200

  • CyberLinkMediaSuite如何制作AI视频？多功能工具快速剪辑的方法

    CyberLinkMediaSuite如何制作AI视频？多功能工具快速剪辑的方法CyberLinkMediaSuite如何制作AI视频？多功能工具快速剪辑的方法CyberLinkMediaSuite如何制作AI视频？多功能工具快速剪辑的方法CyberLinkMediaSuite如何制作AI视频？多功能工具快速剪辑的方法

    答案：CyberLink MediaSuite（核心为PowerDirector）通过AI艺术风格转换、智能对象选取、AI天空替换、音频降噪与运动追踪等功能，显著提升视频制作效率与创意表现。结合模板应用、快捷键操作、媒体库管理及代理编辑等实战技巧，可实现快速剪辑与专业输出，适用于Vlog创作、教育视…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    300

  • Win10与Ubuntu 18.04双系统安装。（Win10引导Linux）[通俗易懂]

    Win10与Ubuntu 18.04双系统安装。（Win10引导Linux）[通俗易懂]Win10与Ubuntu 18.04双系统安装。（Win10引导Linux）[通俗易懂]Win10与Ubuntu 18.04双系统安装。（Win10引导Linux）[通俗易懂]Win10与Ubuntu 18.04双系统安装。（Win10引导Linux）[通俗易懂]

    大家好，很高兴再次与大家见面，我是你们的老朋友全栈君。 作为一个初学者，为了满足自己的求知欲，我按照几位大神写的教程尝试了一遍安装过程，现在来和大家分享一下。 1、Win10安装（如果已经安装，请跳过） 1）制作系统U盘（参考微信公众号“软件安装管家”）： https://www.php.cn/li…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    400
  • 百家号视频怎么隐藏？百家号怎么设置仅自己可见 用户投稿

    百家号视频怎么隐藏？百家号怎么设置仅自己可见

    随着短视频平台的快速发展，其已成为人们获取资讯和休闲娱乐的重要方式。作为国内知名的自媒体平台之一，百家号吸引了大量用户。然而，在享受便捷的同时，隐私安全问题也日益突出。本文将介绍百家号视频隐藏的方法，帮助用户更好地保护个人内容，维护隐私安全。 一、百家号视频隐藏方法 设置隐私权限 在百家号后台，用户…

    程序猿的头像 程序猿
    2026年9月21日
    200

  • MySQL数据库如何设计适合大数据量的表结构_案例分析？

    MySQL数据库如何设计适合大数据量的表结构_案例分析？MySQL数据库如何设计适合大数据量的表结构_案例分析？MySQL数据库如何设计适合大数据量的表结构_案例分析？MySQL数据库如何设计适合大数据量的表结构_案例分析？

    设计适合大数据量的mysql表结构，核心在于数据类型选对、索引用好、适当拆分。1. 合理选择字段类型，如根据数据范围选用tinyint/smallint代替bigint，固定值字段用enum类型，大文本字段单独拆表；2. 精准建立索引，高频查询字段建联合索引并遵循最左前缀原则，避免低区分度字段建索引…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    100
  • windows10如何查看S.M.A.R.T.硬盘状态_windows10硬盘S.M.A.R.T.状态查看方法 用户投稿

    windows10如何查看S.M.A.R.T.硬盘状态_windows10硬盘S.M.A.R.T.状态查看方法

    电脑运行慢、蓝屏或文件损坏可能是硬盘故障前兆，可通过S.M.A.R.T.技术检测健康状况。1、使用WMIC命令行工具输入“wmic diskdrive get model,status”查看状态，显示Pred Fail需立即备份数据；2、CrystalDiskInfo可深度分析S.M.A.R.T.参…

    程序猿的头像 程序猿
    2026年9月21日
    200

  • Photopea的AI功能怎么裁剪图片？快速实现高效图片裁剪技巧

    Photopea的AI功能怎么裁剪图片？快速实现高效图片裁剪技巧Photopea的AI功能怎么裁剪图片？快速实现高效图片裁剪技巧Photopea的AI功能怎么裁剪图片？快速实现高效图片裁剪技巧Photopea的AI功能怎么裁剪图片？快速实现高效图片裁剪技巧

    Photopea的AI功能通过智能选择工具与内容感知技术结合，实现高效图片裁剪。首先使用对象选择、快速选择或魔棒工具智能识别主体或背景，再通过“选择并遮住”精细调整边缘，尤其适用于复杂轮廓如发丝。随后可应用图层蒙版透明化背景，并用裁剪工具调整画布范围。结合内容感知填充可移除干扰元素并自动补全画面，内…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    300
  • PHP框架中间件有什么用处_PHP框架中间件设计与实现 用户投稿

    PHP框架中间件有什么用处_PHP框架中间件设计与实现

    PHP框架中间件是处理请求和响应的过滤器，用于实现身份验证、日志记录、CORS等通用逻辑，核心价值在于解耦和提升可维护性。通过定义中间件接口、具体中间件类及管道调度器可实现自定义中间件，如身份验证或CORS处理。在Laravel中可通过Kernel.php配置全局、分组或路由级中间件，执行顺序按注册…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • Java中字符到数字转换：解决for循环提前返回的常见陷阱 用户投稿

    Java中字符到数字转换：解决for循环提前返回的常见陷阱

    本文探讨java中`for`循环在字符到数字转换时，因`return`语句放置不当导致程序提前终止、无法完整处理字符串的问题。我们将分析这种常见陷阱，并提供修正方案，演示如何正确利用循环填充数组，并在循环结束后统一返回最终结果，确保每个字符都能被准确映射和组合。 引言：字符到数字的映射需求 在编程实…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • 梦幻号虚拟主播电商运营宝典(附新手教程+配套工具清单) 用户投稿

    梦幻号虚拟主播电商运营宝典(附新手教程+配套工具清单)

    虚拟主播电商的核心在于“内容驱动销售，人设凝聚用户”，要让“梦幻号”真正动起来并实现带货，必须先赋予其鲜明的人设，包括清晰的定位标签（如美食家、科技宅）、独特的人格魅力（性格、口头禅、小缺点）和与产品的强关联性，使其具备辨识度和故事感，从而建立用户信任；接着通过obs studio、vtube st…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • deepseek下载速度优化_从deepseek下载速度优化官网获取 用户投稿

    deepseek下载速度优化_从deepseek下载速度优化官网获取

    deepseek下载速度优化入口在官网https://www.deepseek.com，进入后可通过设置调整响应模式、使用智能路由和数据压缩技术提升速度。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ deepseek下载速度优化入口地址在…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • Java多线程API调用中Future.get()返回null的解决方案 用户投稿

    Java多线程API调用中Future.get()返回null的解决方案

    本文旨在解决%ignore_a_1%api调用中`future.get()`方法返回`null`的常见问题。当使用`callable`和`executorservice`并发执行api请求并尝试获取结果时，如果流读取逻辑不当，可能导致获取到的数据为空。文章将详细解释问题根源，并提供使用`string…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • mysql如何排查排序异常 用户投稿

    mysql如何排查排序异常

    排查MySQL排序异常需先确认ORDER BY是否生效，检查子查询、UNION及应用层逻辑是否覆盖排序；通过EXPLAIN分析是否使用索引排序，避免Using filesort；确保字段类型、字符集和排序规则（collation）符合预期，处理NULL值和大小写敏感性；关注sort_buffer_s…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • 即梦AI运镜控制怎么控制_即梦AI视频镜头移动技巧详解 用户投稿

    即梦AI运镜控制怎么控制_即梦AI视频镜头移动技巧详解

    掌握即梦AI运镜需四步：一、用“镜头缓慢推进”等预设提示词生成标准运动；二、通过动效画板框选主体并绘制运动路径；三、设置首尾帧引导转场，实现穿越或循环效果；四、结合“希区柯克式变焦”“时间冻结环绕”等高级技巧增强视觉表现。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 Dee…

    程序猿的头像 程序猿
    2026年9月21日
    000

发表回复

登录后才能评论
关注微信