一夜之间,大模型像人一样操控电脑了!Claude 3.5重磅升级,抢先OpenAI

几个小时前,Claude 3.5 模型迎来了一波大更新。Anthropic 推出了升级版的 Claude 3.5 Sonnet 以及一款新模型 Claude 3.5 Haiku。
其中,升级版 Claude 3.5 Sonnet 的各项能力全面胜过之前版本,其中代码能力提升显著。Claude 3.5 Haiku 的性能则与之前最大模型 Claude 3 Opus 的性能相当,同时在成本和速度上与上一代 Haiku 相近。
最值得关注的是,Claude 3.5 Sonnet 版本号虽未提升,但却迎来了史诗级大更新:能像人一样使用计算机了!
最新版本的 Claude 3.5 Sonnet 能够根据用户指令移动光标、点击相应位置以及通过虚拟键盘输入信息,模仿人类与计算机的交互方式。
Anthropic 表示,Claude 3.5 Sonnet 是首个提供「计算机使用」能力公开 beta 测试的前沿 AI 模型,不过其也指出目前该工具还处于实验阶段 —— 有时候会很麻烦且容易出错。目前这个功能更多地是面向开发者,以便获得他们的使用反馈。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

一夜之间,大模型像人一样操控电脑了!Claude 3.5重磅升级,抢先OpenAI

目前,「使用计算机」功能已经有了公开测试版,大家可以申请试用。申请表单:https://docs.google.com/forms/d/e/1FAIpQLSeD3IqITWsuepB19SEv889HsBvN9WOi6HRblPrJNyA9G7q02w/viewform
该功能发布后,网友纷纷点赞,都表示迫不及待想要尝试这个功能;当然也有网友对 Claude 3.5 Sonnet 依然使用原来的名称表达了深深地不解:「为什么这么大的更新却连模型版本号都不改一下?」
一夜之间,大模型像人一样操控电脑了!Claude 3.5重磅升级,抢先OpenAI
并且发布不过几个小时,就已经有开发者尝试了 Claude 3.5 Sonnet 的这项新能力。网友 Mckay Wrigley 表示通过 API 使用这项新功能,设置时间不超过 10 分钟,而这项能力却能为 AI 开启无限可能,堪称 game changer。
一夜之间,大模型像人一样操控电脑了!Claude 3.5重磅升级,抢先OpenAI
顺带一提,在 Anthropic 更新 Claude 3.5 的同时,热门 AI 编程工具 Cursor 也已经成功接入 Claude 系列模型。根据许多网友分享的截图,接入 Cursor 的 Claude 3.5 Sonnet 正是最新的 20241022 版本!
一夜之间,大模型像人一样操控电脑了!Claude 3.5重磅升级,抢先OpenAI
另外,对于官方博客中缺少的与 OpenAI ο1 模型的性能对比,也已经有研究者抢先完成了。根据研究者 Austin Starks 的实验,最新版 Claude 3.5 Sonnet 的性能表现优于 OpenAI ο1-mini。他自己也对这一结果深表震惊。
一夜之间,大模型像人一样操控电脑了!Claude 3.5重磅升级,抢先OpenAI
      详细报告请访问:https://medium.com/@austin-starks/claudes-new-3-5-sonnet-outperformed-openai-s-o1-mini-i-m-shocked-58c9ee1993ea
让 AI 使用计算机有什么用?
为什么说这个功能很重要?我们知道,现代的大量工作都是通过计算机完成的。如果能让 AI 像人类一样直接与计算机软件交互,将解锁大量当前一代 AI 助手无法实现的应用。
过去几年,强 AI 已经实现了一个又一个里程碑,举个例子,现在的强 AI 已经有能力执行复杂的逻辑推理和理解图像内容。下一个前沿就是使用计算机,AI 模型不必通过定制工具进行交互,而是能够遵照指示使用几乎任何软件。
Anthropic 表示,他们之前在工具使用和多模态方面的工作为这些新的计算机使用技能奠定了基础。
操作计算机需要查看和解释图像的能力 —— 这里的图像就是指计算机屏幕。它还需要推理能力,以了解以怎样的方式在什么时间执行特定的操作。整合这些能力后,Claude 便可具备解读屏幕内容并使用软件工具执行任务的能力。
该公司举了个例子:如果用户是一名开发者,使用的软件有好几个,同时也已经给予了 Claude 适当的权限,那么 Claude 就可以查看用户能看到的屏幕,然后统计其所要移动的垂直和水平像素的数量,从而点击到正确位置。因此,准确统计像素数量的能力对 Claude 而言至关重要。没有这项技能,模型就难以发出鼠标指令 —— 类似于模型难以解决「banana 中有多少个 A?」 这样的问题。
Anthropic 表示,在训练 Claude 使用计算机方面,仅使用少量简单软件(比如一个计算器和一个文本编辑器)进行的训练就让 Claude 可以泛化这种能力。这一点让开发团队自己都深感惊讶。至于为何使用这样的简单软件,该团队表示:「出于安全原因,我们并不允许模型在训练时访问互联网。」
再结合 Claude 的其它能力,这种训练赋予了它非凡的能力,可以将用户的文本提示词转化为一系列逻辑步骤,然后在计算机上采取行动。开发团队观察到,如果遇阻,该模型甚至还能自我纠错并重试任务。
他们表示:「虽然我们在取得初步突破后很快就取得了后续进展,但达到这一目标的过程经历了大量反复试验。」该公司的一些研究者指出,让 Claude 具备使用计算机的能力接近他们刚开始从事该领域时所描绘的 AI 研究的「理想化」过程:不断迭代和反复回到绘图板,直到取得进展。
终于,研究获得了回报。目前,Claude 可以说是当之无愧的 SOTA 模型,其使用计算机的方式与人类相同 —— 即查看屏幕再采取行动。在 OSWorld 这项测试模型使用计算机的能力的评估基准上,Claude 当前的准确度为 14.9%,虽然远远不及人类水平(通常为 70-75%),但却远高于在此基准上排名第二的 AI 模型(7.8%)。当给予更多的步骤来完成任务时,Claude 得分为 22.0%。
一夜之间,大模型像人一样操控电脑了!Claude 3.5重磅升级,抢先OpenAI
                          OSWorld 基准上当前排名前十的模型
确保计算机使用安全
人工智能的每一次进步都会带来新的安全挑战。计算机的使用主要是降低人工智能系统应用现有认知技能的障碍,而不是从根本上提高这些技能,因此 Anthropic 对计算机使用的主要关注点是当前的危害,而不是未来的危害。
Anthropic 通过评估计算机的使用是否会增加其《负责任扩展政策》中列出的前沿威胁(frontier threats)的风险来证实这一点。更新后的 Claude 3.5 Sonnet,包括其新的计算机使用技能,仍处于 AI Safety Level 2,也就是说,它不需要比 Anthropic 目前采取的安全措施更高标准的安全措施。
未来的模型可能会带来灾难性的风险,计算机的使用可能会加剧这些风险,因此需要 AI Safety Level 3 或 4 的保障措施。Anthropic 认为现在引入计算机使用可能会更好,而模型仍然只需要 AI Safety Level 2 的保障。这意味着可以在风险过高之前开始解决任何安全问题。
因此,Anthropic 的信任与安全团队对计算机使用模型进行了广泛的分析,以识别潜在的漏洞。他们发现的一个问题是「提示词注入」—— 一种网络攻击,会输入恶意指令到人工智能模型,导致其要么覆盖先前的指令,要么执行偏离用户原始意图的意外操作。由于 Claude 可以解读连接到互联网的计算机的屏幕截图,因此它可能会暴露于包含提示词注入攻击的内容。
默认情况下,Anthropic 不会使用用户提交的数据(包括 Claude 收到的任何屏幕截图)来训练其生成式 AI 模型。
「计算机使用」的未来
计算机的使用是一种完全不同的人工智能开发方法。到目前为止,LLM 开发人员已经制作了适合模型的工具,生成了自定义环境,人工智能可以使用专门设计的工具来完成各种任务。
现在,Anthropic 的研究者可以让模型适应工具 —— Claude 可以融入我们日常使用的计算机环境中。他们的目标是让 Claude 能够利用现有的计算机软件,并像人类一样简单地使用它们。
研究者构建了一个 API,使 Claude 能够感知计算机界面并与之交互。该 API 使 Claude 能够将提示词翻译成计算机命令。开发人员可以使用它来自动执行重复性任务、进行测试和 QA 以及进行开放式研究。一夜之间,大模型像人一样操控电脑了!Claude 3.5重磅升级,抢先OpenAI研究者并没有制作专门的工具来帮助 Claude 完成个别任务,而是教它通用的计算机技能,让它能够使用为人类设计的各种标准工具和软件程序。 一夜之间,大模型像人一样操控电脑了!Claude 3.5重磅升级,抢先OpenAI
不过,Anthropic 还有很多工作要做。尽管目前 Claude 处于技术的最前沿,但它使用计算机的速度仍然缓慢且经常出错。人们在计算机上常规进行的许多操作(如拖动、缩放等)Claude 还无法完成。
对于 Claude 来说,它观察到的屏幕「翻页」方式 —— 是通过拍摄屏幕截图并将它们拼接起来的方式,而不是观察更细粒度的视频流。这种方式意味着 Claude 可能会错过那些短暂的操作或通知。 
甚至在录制计算机使用演示时,研究者也遇到了一些有趣的错误。其中一个错误是,Claude 不小心点击停止了长时间的屏幕录制,导致所有镜头都丢失。另一个错误是,Claude 突然中断了现场的编码演示,开始浏览黄石国家公园的照片。
一夜之间,大模型像人一样操控电脑了!Claude 3.5重磅升级,抢先OpenAI
一夜之间,大模型像人一样操控电脑了!Claude 3.5重磅升级,抢先OpenAI
研究者预期对计算机的使用将迅速改进,变得更快、更可靠,并更有助于用户完成他们想要完成的任务。对于那些软件开发经验较少的人来说,实施起来也将变得更加容易。并且在每一个阶段,研究人员都将与安全团队紧密合作,确保 Claude 的新功能更加安全。
Asana、Canva、Cognition、DoorDash、Replit 和 The Browser Company 已经开始探索「计算机使用」的各种可能性,执行那些需要几十个、有时甚至几百个步骤才能完成的任务。例如,Replit 正在利用 Claude 3.5 Sonnet 的计算机使用和 UI 导航能力,为其 Replit Agent 产品开发一个关键功能,该功能可以在构建应用程序时评估这些应用程序。
升级版的 Claude 3.5 Sonnet 现在对所有用户开放。从今天开始,开发者可以在 Anthropic API、Amazon Bedrock 和 Google Cloud 的 Vertex AI 上使用「计算机使用」的测试版进行构建。新的 Claude 3.5 Haiku 将在本月晚些时候发布。
一夜之间,大模型像人一样操控电脑了!Claude 3.5重磅升级,抢先OpenAI
Claude 3.5 Sonnet:行业领先的软件工程技能
更新版的 Claude 3.5 Sonnet 在行业基准测试中显示出广泛的改进,特别是在智能体编码和工具使用任务上取得了显著的提升。在编码方面,其在 SWE-bench Verified 上的性能从 33.4% 提高到 49.0%,得分高于所有公开可用的模型 —— 包括像 OpenAI o1-preview 这样的推理模型和专为智能体编码设计的专门系统。它在 TAU-bench 上的表现也有所提升,这是一个智能体工具使用任务,在零售领域的得分从 62.6% 提高到了 69.2%,在更具挑战性的航空领域则从 36.0% 提高到了 46.0%。新的 Claude 3.5 Sonnet 以与其前代相同的价格和速度提供了这些改进。
早期客户反馈表明,升级版的 Claude 3.5 Sonnet 代表了 AI 驱动编码的重大飞跃。GitLab 针对 DevSecOps 任务对该模型进行了测试,发现它提供了更强的推理能力(在用例中高达 10%),并且没有增加延迟,这使其成为驱动多步骤软件开发流程的理想选择。Cognition 使用新的 Claude 3.5 Sonnet 进行自主 AI 评估,与前一版本相比,它在编码、规划和问题解决方面经历了显著的改进。The Browser Company 在用于自动化基于 Web 的工作流程时,注意到 Claude 3.5 Sonnet 的表现超过了他们之前测试过的每一个模型。
Claude 3.5 Haiku:SOTA 技术与性价比和速度的结合
Claude 3.5 Haiku 是 Anthropic 最快的模型的下一代。与 Claude 3 Haiku 的成本相同,速度相似,Claude 3.5 Haiku 在每项技能上都有改进,并且在许多智能基准测试上甚至超过了 Anthropic 上一代最大的模型 ——Claude 3 Opus。Claude 3.5 Haiku 在编码任务上尤其强大。例如,它在 SWE-bench Verified 上的得分为 40.6%,超过了使用公开可用的 SOTA 模型的许多智能体 —— 包括原始的 Claude 3.5 Sonnet 和 GPT-4o。
凭借低延迟、改进的指令遵循和更准确的工具使用,Claude 3.5 Haiku 非常适合面向用户的产品、专门的 sub-agent 任务以及从大量数据(如购买历史、定价或库存记录)中生成个性化体验。
Claude 3.5 Haiku 将于本月晚些时候通过 Anthropic 的第一方 API、Amazon Bedrock, 和谷歌云的 Vertex AI 提供 —— 最初作为仅限文本的模型,随后将支持图像输入。
参考链接:
https://www.anthropic.com/news/3-5-models-and-computer-use
https://www.anthropic.com/research/developing-computer-use

以上就是一夜之间,大模型像人一样操控电脑了!Claude 3.5重磅升级,抢先OpenAI的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/413788.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
mysql中用正则表达式进行搜索教程(一)
上一篇 2025年11月7日 00:17:34
mysql5.7.18在mac os10.12下安装教程步骤
下一篇 2025年11月7日 00:17:46

相关推荐

  • Laravel模型强制删除?软删除如何强制删除?

    Laravel模型可通过forceDelete()实现强制删除,适用于软删除模型的彻底移除;普通模型调用delete()即为硬删除。启用了SoftDeletes的模型删除时仅标记deleted_at字段,数据仍存在于数据库中但查询时被过滤。通过withTrashed()可查询软删除数据,onlyTr…

    2026年9月9日
    000
  • RAID阵列数据恢复的复杂性与成功概率如何评估?

    RAID数据恢复成功率取决于损坏类型、RAID级别和操作方式;物理损坏需专业设备,逻辑错误可软件修复,但误操作会加剧数据丢失风险。 RAID阵列数据恢复的复杂性与成功概率,取决于多种因素,简单来说,损坏类型、RAID级别、操作方式,都会直接影响恢复的难度和最终结果。 RAID阵列数据恢复的复杂性与成…

    2026年9月9日
    500
  • 使用 Argparse4j 在 Java 中接收 Duration 类型参数

    本文介绍了如何使用 `net.sourceforge.argparse4j` 库在 Java 命令行程序中接收 `java.time.Duration` 类型的参数。由于 `Duration` 不是原始数据类型,`Argparse4j` 无法直接支持。本文将提供两种解决方案:使用 `valueOf`…

    2026年9月9日
    000
  • 根据供应商ID排序:实现数据库查询结果的正确排序

    本文旨在解决数据库查询中,当供应商ID等字段采用特定前缀加数字的混合格式时,如何实现按照数字大小进行排序的问题。通过提取数字部分并进行类型转换,我们可以确保查询结果按照S01, S02, …, S09, S010, S011的正确顺序展示,避免S01, S010, S011, S02, …

    2026年9月9日
    000
  • 谷歌浏览器如何恢复被隐藏的书签栏_谷歌浏览器书签栏显示恢复教程

    首先通过菜单或快捷键恢复书签栏显示,若无效则禁用扩展排查冲突,最后重置用户配置文件以修复异常。 如果您在使用谷歌浏览器时发现书签栏突然消失,无法看到收藏的网站链接,则可能是由于显示设置被更改、扩展程序冲突或用户配置文件异常所致。以下是恢复书签栏的详细操作步骤: 本文运行环境:MacBook Pro,…

    2026年9月9日
    000
  • AIGC入口官网检测 知网免费查重链接

    知网AIGC查重需通过唯一官方入口https://cx.cnki.net,注册登录后上传Word或PDF文件(≤10万字),按2元/千字符计费,10分钟出报告,提供简洁版与全文版两种结果,总AIGC率为加权平均值,用于评估AI参与度,建议用户防范仿冒网站并结合人工判断结果。 ☞☞☞AI 智能聊天, …

    2026年9月9日
    000
  • 联想moto X70 Air上架:5.99mm支持插卡!无需eSIM

    联想moto X70 Air上架:5.99mm支持插卡!无需eSIM联想moto X70 Air上架:5.99mm支持插卡!无需eSIM联想moto X70 Air上架:5.99mm支持插卡!无需eSIM联想moto X70 Air上架:5.99mm支持插卡!无需eSIM

    10月24日,联想moto x70 air已正式登陆官方商城页面,预计将于10月31日正式发布。这款新机主打极致轻薄设计,在机身厚度和重量控制上表现出色,相较iphone air在实用性方面更具优势。 据官方商城披露的信息,联想moto X70 Air的机身厚度仅为5.99mm,整机重量为159g,…

    2026年9月9日 用户投稿
    000
  • mysql中如何检测异常SQL执行

    答案:通过慢查询日志、Performance Schema、通用日志、PROCESSLIST监控及外部工具实现MySQL异常SQL检测。首先开启慢查询日志(slow_query_log)记录执行超时SQL,设置long_query_time阈值并用pt-query-digest分析;其次利用Perf…

    2026年9月9日
    100
  • VS Code工作区管理:多项目配置与团队协作最佳实践

    VS Code工作区通过.code-workspace文件整合多个项目,支持统一配置、扩展推荐和调试设置,提升个人效率与团队协作一致性。 在现代开发中,一个开发者往往需要同时处理多个相关项目,比如前端、后端、微服务或共享库。VS Code 通过工作区(Workspace)功能提供了强大的多项目管理能…

    2026年9月9日
    1100
  • JDBC 中 TABLE_CAT 与 TABLE_CATALOG 的区别与使用

    本文旨在阐明 JDBC 中 `TABLE_CAT` 和 `TABLE_CATALOG` 的概念,解释它们在 `DatabaseMetaData` 方法中的作用,并通过 MySQL Connector/J 的示例,帮助开发者理解如何在不同数据库系统中正确使用它们来获取数据库元数据信息。 在 JDBC …

    2026年9月9日
    100
  • 豆包Ai网页版官网链接_豆包Ai在线访问官方地址

    豆包AI网页版官网链接是https://www.doubao.com/chat/,用户可通过该网址进行在线访问,使用基础聊天、图像生成、文档解析等功能,支持多平台操作并提供便捷的交互体验。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 豆包…

    2026年9月9日
    100
  • 腾讯发布 TAI 6.0 智能座舱和全域智能升级方案 助力汽车产业全场景增效

    腾讯发布 TAI 6.0 智能座舱和全域智能升级方案 助力汽车产业全场景增效腾讯发布 TAI 6.0 智能座舱和全域智能升级方案 助力汽车产业全场景增效腾讯发布 TAI 6.0 智能座舱和全域智能升级方案 助力汽车产业全场景增效腾讯发布 TAI 6.0 智能座舱和全域智能升级方案 助力汽车产业全场景增效

    9 月 16 日,2025 腾讯全球数字生态大会在深圳举行。面向汽车行业,腾讯发布 tai 6.0 智能座舱系统和全域智能化升级方案,为汽车产业提供智能化转型的基础设施,提升车企在研发、生产、营销、运营等全场景的效率。此外,腾讯还凭借在大数据、仿真等领域的技术优势,展示了为具身智能产业打造的全链路工…

    2026年9月9日 用户投稿
    000
  • Linux进程状态详解:运行、睡眠、僵尸进程等

    Linux进程状态包括运行(R)、睡眠(S/D)、停止(T/t)、僵尸(Z)等,反映进程执行情况;通过ps或top命令查看STAT列,可诊断CPU压力、I/O阻塞、资源泄漏等问题,助力系统性能调优。 在Linux系统中,进程是程序执行的基本单位。每个进程在其生命周期中会经历不同的状态,这些状态反映了…

    2026年9月9日
    000
  • 如何在mysql中分析索引失效原因

    答案是使用EXPLAIN分析执行计划并识别常见索引失效场景。通过type、key、rows和Extra字段判断索引使用情况,避免函数操作、隐式转换、左模糊、OR连接等导致的失效,确保遵循最左前缀原则,并结合统计信息与工具优化查询。 索引失效是MySQL性能问题的常见原因。要分析索引是否生效,关键在于…

    2026年9月9日
    100
  • 响应式编程中 doOnNext() 与 subscribe() 的深度解析

    本文深入探讨响应式编程中 `doonnext()` 和 `subscribe()` 这两个核心操作符的区别与应用。`subscribe()` 是一个终止操作符,负责触发整个响应式流的执行并处理最终结果;而 `doonnext()` 则是一个中间操作符,用于在流的中间阶段执行副作用,如日志记录或状态更…

    2026年9月9日
    000
  • 京东方陈炎顺:三年将投入研发资金 500 亿元,已组建机器人团队

    近日,在京东方全球创新伙伴大会 2025(boe ipc 2025)开幕式上,京东方董事长陈炎顺指出,未来三年京东方将投入研发资金 500 亿元、采购资金 5000 亿元,支持产业链技术突破和产业升级。还将把营收中的 0.5% 用于 ai 研发,促进 ai 对制造、产品、运营的赋能。此外,京东方已组…

    2026年9月9日
    800
  • Spring Boot中高效提取嵌套JSON数据的策略

    本教程详细探讨了在spring boot应用中如何高效地从复杂嵌套json结构中提取特定数据。我们将重点介绍jackson库的两种核心方法:jackson streaming api,适用于处理大型或结构动态的json,以及jackson data binding,适用于将json映射到预定义jav…

    2026年9月9日
    000
  • 全球首款第五代骁龙8至尊版平板正式发售 荣耀MagicPad3Pro定义安卓阵营最强

    10月23日,荣耀magicpad3pro正式开启全渠道首销。作为全球首款搭载第五代骁龙8至尊版芯片的平板产品,它标志着安卓阵营在性能领域的全新高度。此次首发优惠价为3799元起,购机用户可享受6期免息、一年延保及一年碎屏险等多项权益,荣耀老用户还可叠加至高300元的升杯补贴。 这款平板被誉为安卓平…

    2026年9月9日
    000
  • 小可AI语音识别官网_小可AI语音平台官方地址

    小可AI语音识别官网是https://www.xiaokeai.com,提供高精度实时语音转文字、离线识别、多音频格式兼容及声纹区分功能,支持语义优化、自定义词库与多语言混合识别,并实现跨设备同步、多种文本导出格式及加密存储。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 D…

    2026年9月9日
    000
  • mac怎么设置默认邮件客户端_Mac设置默认邮件客户端方法

    首先通过系统设置指定默认邮件客户端,若无效则在第三方应用内启用默认权限,最后可使用终端命令强制注册并重启生效。 如果您在使用Mac时希望点击邮件链接或通过其他应用打开邮件功能时自动启动指定的邮件应用,但系统仍使用原有默认程序,则可能是默认邮件客户端未正确设置。以下是解决此问题的步骤: 本文运行环境:…

    2026年9月9日
    100

发表回复

登录后才能评论
关注微信