由英国政府AI安全研究所联合多所顶尖高校的计算机科学家开展的一项研究揭示，当前广泛用于衡量新一代人工智能（AI）模型安全性与效能的评估体系存在普遍性漏洞。研究人员对超过440个现有基准测试进行了系统分析，结果发现几乎每一项测试都在设计或执行层面存在某种形式的缺陷，可能严重影响其评估结果的可信度。
牛津互联网研究所的研究员安德鲁・比恩（Andrew Bean）作为该研究的主要负责人指出，这些基准测试本应是验证新型AI系统是否安全、可控并符合人类价值观的关键手段。然而，由于行业缺乏统一的技术标准和严谨的验证机制，目前很难判断AI模型的实际表现是在持续提升，还是仅仅在特定测试条件下“看起来”更优。
在美英两国尚未建立全面AI监管框架的现状下，这类基准测试实际上承担着类似“自我监管”的角色，成为科技公司在发布新AI产品前的重要参考。但近年来已有多起因AI输出有害内容而被迫下架产品的案例。例如，谷歌此前不得不撤回其开源AI模型Gemma，原因是该模型生成了关于一名美国参议员的虚假负面信息，引发公众强烈质疑。
面试猫
AI面试助手，在线面试神器，助你轻松拿Offer
39 查看详情
谷歌随后澄清称，Gemma原本面向开发者和研究人员，并非为大众用户设计，在发现被不当使用后迅速采取了回收措施。研究还指出，大多数基准测试缺乏对结果不确定性的量化分析，仅有16%的测试采用了统计显著性检验等科学方法。同时，在评估如“无害性”“公平性”等关键属性时，相关标准定义模糊、主观性强，导致不同测试之间难以横向比较。
为此，研究团队呼吁全球AI社区共同推动建立开放、透明且标准化的评估框架，制定通用的最佳实践指南，以增强AI安全测试的可靠性与可重复性，从而真正保障技术发展的稳健与可信。
以上就是数百项 AI 安全测试存在严重缺陷的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/301310.html
微信扫一扫 
支付宝扫一扫 
