投稿获客
  1. 创想鸟首页
  2. 用户投稿

北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

程序猿 • • 用户投稿 • 阅读 0

近年来，针对视觉感知系统安全性评估的探索逐步深入，先后有研究者成功实现基于眼镜、贴纸、衣服等不同载体的可见光模态安全评估技术，也有一些针对红外模态的新尝试。但是它们都只能作用于单一模态。

随着人工智能技术的发展，可见光 – 热红外成像技术已同时应用于治安监控、自动驾驶等诸多安全关键任务中，其中可见光成像可以在白天提供丰富的纹理信息，红外成像则可以在夜间清晰显示目标的热辐射分布，二者结合更为视觉感知系统带来 24 小时全覆盖和不受环境局限等诸多优势。因此，针对多模态视觉感知系统的统一安全评估方法也亟须研究。
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
然而，实现多模态评估极具挑战性。首先，在不同成像机制下攻击方法通用难。以前的方法都分别基于特定目标模态成像特点提出，在其他模态下很难起到作用。再者，平衡隐身性能、制作成本和灵活应用难。对于可见光和更难的红外模态双重有效已是不易，实现低成本便捷制作与使用更是难上加难。
面对诸多挑战，来自北航人工智能研究院的研究者挖掘可见光 – 红外模态间通用的形状属性，创新性地提出 「跨模态通用对抗补丁」，实现可见光 – 红外同步隐身。其遴选易获取、成本低、隔热性能优异的材料制作便捷贴片，即拆即用，在填补当前物理世界可见光 – 红外多模态检测系统鲁棒性评估技术缺失的同时，兼顾物理实现的简易性与即时性。实验证明了该方法在不同检测模型与模态下的有效性，以及多场景下的泛化性。目前，该论文已被 ICCV 2023 接收。
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

讯飞开放平台 讯飞开放平台

科大讯飞推出的以语音交互技术为核心的AI开放平台

讯飞开放平台 152 查看详情 讯飞开放平台

论文链接：https://arxiv.org/abs/2307.07859
代码链接：https://github.com/Aries-iai/Cross-modal_Patch_Attack
技术要点

该研究以进化算法为基础框架，立足形状建模、形状优化、模态平衡三个角度进行方案设计与效果改进，具体流程如图所示：
   
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
1. 基于样条插值的多锚点形状建模
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
对于基础形状建模部分，研究人员设计点优化建模新范式，其可通过改变点坐标直接调整补丁形状，此过程中锚点的运动不会受方向、距离等限制，有效增大了补丁形状的搜索空间。在此基础上，为了确保形状自然性，其还利用样条插值方法实现平滑连接，样条会更紧密地跟随控制点。
2. 基于差分进化的边界限定形状优化算法
实现攻击需要有效的优化手段，为此研究人员从时间成本、实际效果等角度考量，以进化算法作为基本框架，并从边界设定、适应度函数两个角度改进：
（1）边界设定：针对锚点进行边界设定提高形变有效性，降低时间成本。其具有以下设定：不会在曲线段内形成循环或自交；在曲线段内不容易出现尖点；不会出现在无效区域。 
以锚点北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了为例，下图蓝色部分为边界设定图例，橙色部分为错误实例：
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
关于锚点图片的边界判定 北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了 数学表达如下所示：
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
（2）适应度函数：不同于前人工作仅针对于单个模态进行攻击评估，本文工作聚焦于可见光 – 红外两个模态，天然存在平衡模态效果差异的问题。因此为了避免走向易优化单一模态极端，研究人员创新性提出了基于检测器置信度得分感知的跨模态适应度函数，鼓励探索成功方向的同时平衡两模态效果差异，最后根据评分优胜劣汰。考虑到初始阶段和后期阶段攻击难度的不同，其使用指数函数代替线性函数，更加突出不同阶段攻击进度的差异性。
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
                             
算法迭代该探索过程直至两模态都攻击成功，输出最优形状策略。完整优化流程如下所示：
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验结果

实验一：针对不同系列检测器的跨模态攻击性能验证
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验二：针对形状的消融实验
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验三：针对跨模态适应度函数的消融实验
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验四：物理实施偏差下的方法鲁棒性验证
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验五：不同物理条件下的方法有效性验证
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

不同角度、距离、姿势、场景下的性能验证可视化结果

总结

本文工作以自然形状优化为核心，将形变补丁与跨模态攻击相结合，设计了一种物理环境下可见光 – 红外多模态鲁棒性评估方法。该方法可对多模态（可见光 – 红外）目标检测系统的鲁棒性进行评估，根据评估结果有效修正检测器模型，同时提高可见光、红外两种模态下目标图像检测的准确性，在物理环境下做到真正的可实施、可应用，为多模态检测系统的鲁棒性评估与改进作出贡献。

以上就是北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/968651.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

414.1K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
CSS过渡与背景色透明度结合应用_transition rgba应用
上一篇 2025年12月1日 19:32:50
SQL 2022 价格及版本对比 SQL 2022 价格在成本考量中的核心信息与优势
下一篇 2025年12月1日 19:32:57

相关推荐

  • Golang JSON序列化：控制敏感字段暴露的最佳实践 用户投稿

    Golang JSON序列化：控制敏感字段暴露的最佳实践

    本教程探讨golang中如何高效控制结构体字段在json序列化时的可见性。当需要将包含敏感信息的结构体数组转换为json响应时，通过利用`encoding/json`包提供的结构体标签，特别是`json:”-“`，可以轻松实现对特定字段的忽略，从而避免敏感数据泄露，确保api…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 比特币新手教程 比特币交易平台有哪些 用户投稿

    比特币新手教程 比特币交易平台有哪些

    比特币是一种去中心化的数字货币，基于区块链技术实现点对点交易，具有匿名性、有限发行和不可篡改等特点；新手可通过交易所购买，P2P交易获得比特币，常用平台包括Binance、OKX和Huobi；交易流程包括注册账户、实名认证、绑定支付方式、充值法币并下单购买，可选择市价单或限价单；比特币存储方式有交易…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • c++中的SFINAE技术是什么_c++模板编程中的SFINAE原理与应用 用户投稿

    c++中的SFINAE技术是什么_c++模板编程中的SFINAE原理与应用

    SFINAE 是“替换失败不是错误”的原则，指模板实例化时若参数替换导致错误，只要存在其他合法候选，编译器不报错而是继续重载决议。它用于条件启用模板、类型检测等场景，如通过 decltype 或 enable_if 控制函数重载，实现类型特征判断。尽管 C++20 引入 Concepts 简化了部分…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • Go语言mgo查询构建：深入理解bson.M与日期范围查询的正确实践 用户投稿

    Go语言mgo查询构建：深入理解bson.M与日期范围查询的正确实践

    本文旨在解决go语言mgo库中构建复杂查询时，特别是涉及嵌套`bson.m`和日期范围筛选的常见错误。我们将深入剖析`bson.m`的类型特性，解释为何直接索引`interface{}`会导致“invalid operation”错误，并提供一种推荐的、结构清晰的代码重构方案，以确保查询条件能够正确…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • Golang goroutine与channel调试技巧 用户投稿

    Golang goroutine与channel调试技巧

    使用go run -race检测数据竞争，结合runtime.NumGoroutine监控协程数量，通过pprof分析阻塞调用栈，利用select超时避免永久阻塞，有效排查goroutine泄漏、死锁和数据竞争问题。 Go语言的goroutine和channel是并发编程的核心，但它们也带来了调试上…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 使用 Jupyter Notebook 进行探索性数据分析 用户投稿

    使用 Jupyter Notebook 进行探索性数据分析

    Jupyter Notebook通过单元格实现代码与Markdown结合，支持数据导入（pandas）、清洗（fillna）、探索（matplotlib/seaborn可视化）、统计分析（describe/corr）和特征工程，便于记录与分享分析过程。 Jupyter Notebook 是进行探索性…

    程序猿的头像 程序猿
    2026年5月10日
    000

  • 《魔兽世界》将于6月11日开启国服回归技术测试

    《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试

    《%ign%ignore_a_1%re_a_1%》官方宣布，将于6月11日开启国服回归技术测试，时间为7天，并称可以在6月内正式开服，玩家们可以访问官网下载战网客户端并预下载“巫妖王之怒”客户端，技术测试详情见下图。 WordAi WordAI是一个AI驱动的内容重写平台 53 查看详情 以上就是《…

    程序猿的头像 程序猿
    2026年5月10日 • 用户投稿
    200
  • 如何在HTML中插入表单元素_HTML表单控件与输入类型使用指南 用户投稿

    如何在HTML中插入表单元素_HTML表单控件与输入类型使用指南

    HTML表单通过标签构建，包含action和method属性定义数据提交目标与方式，常用input类型如text、password、email等适配不同输入需求，配合label、required、placeholder提升可用性，结合textarea、select、button等控件实现完整交互，是…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • 创建指定大小并填充特定数据的Golang文件教程 用户投稿

    创建指定大小并填充特定数据的Golang文件教程

    本文将介绍如何使用Golang创建一个指定大小的文件，并用特定数据填充它。我们将使用 `os` 包提供的函数来创建和截断文件，从而实现快速生成大文件的目的。示例代码展示了如何创建一个10MB的文件，并将其填充为全零数据。掌握这些方法，可以方便地在例如日志系统或磁盘队列等场景中，预先创建测试文件或初始…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • Python命令怎样使用profile分析脚本性能 Python命令性能分析的基础教程 用户投稿

    Python命令怎样使用profile分析脚本性能 Python命令性能分析的基础教程

    使用Python的cProfile模块分析脚本性能最直接的方式是通过命令行执行python -m cProfile your_script.py，它会输出每个函数的调用次数、总耗时、累积耗时等关键指标，帮助定位性能瓶颈；为进一步分析，可将结果保存为文件python -m cProfile -o ou…

    程序猿的头像 程序猿
    2026年5月10日
    000

  • 如何插入查询结果数据_SQL插入Select查询结果方法

    如何插入查询结果数据_SQL插入Select查询结果方法如何插入查询结果数据_SQL插入Select查询结果方法如何插入查询结果数据_SQL插入Select查询结果方法如何插入查询结果数据_SQL插入Select查询结果方法

    使用INSERT INTO…SELECT语句可高效插入数据，通过NOT EXISTS、LEFT JOIN、MERGE语句或唯一约束避免重复；表结构不一致时可通过别名、类型转换、默认值或计算字段处理；结合存储过程可提升可维护性，支持参数化与动态SQL。 将查询结果数据插入到另一个表中，可以…

    程序猿的头像 程序猿
    2026年5月10日 • 用户投稿
    000
  • 使用 WebCodecs VideoDecoder 实现精确逐帧回退 用户投稿

    使用 WebCodecs VideoDecoder 实现精确逐帧回退

    本文档旨在解决在使用 WebCodecs VideoDecoder 进行视频解码时，实现精确逐帧回退的问题。通过比较帧的时间戳与目标帧的时间戳，可以避免渲染中间帧，从而提高用户体验。本文将提供详细的解决方案和示例代码，帮助开发者实现精确的视频帧控制。 在使用 WebCodecs VideoDecod…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • Debian Copilot的社区活跃度如何 用户投稿

    Debian Copilot的社区活跃度如何

    debian copilot是codeberg社区维护的ai助手，旨在为debian用户提供服务。尽管搜索结果中没有直接提供关于debian copilot社区支持活跃度的具体数据，但我们可以通过debian社区的整体活跃度和特点来推断其活跃性。 Debian社区的一般情况： Debian拥有详尽的…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • Discord.py 交互按钮超时与持久化解决方案 用户投稿

    Discord.py 交互按钮超时与持久化解决方案

    本教程旨在解决Discord.py中交互按钮在一段时间后出现“This Interaction Failed”错误的问题。我们将深入探讨视图（View）的超时机制，并提供通过正确设置timeout参数以及利用bot.add_view()方法实现按钮持久化的具体方案，确保您的机器人交互功能稳定可靠，即…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • JavaScript 动态菜单点击高亮效果实现教程 用户投稿

    JavaScript 动态菜单点击高亮效果实现教程

    本教程详细介绍了如何使用 JavaScript 实现动态菜单的点击高亮功能。通过事件委托和状态管理，当用户点击菜单项时，被点击项会高亮显示（绿色），同时其他菜单项恢复默认样式（白色）。这种方法避免了不必要的DOM操作，提高了性能和代码可维护性，确保了无论点击方向如何，功能都能稳定运行。 动态菜单高亮…

    程序猿的头像 程序猿
    2026年5月10日
    200
  • c++如何实现UDP通信_c++基于UDP的网络通信示例 用户投稿

    c++如何实现UDP通信_c++基于UDP的网络通信示例

    UDP通信基于套接字实现，适用于实时性要求高的场景。1. 流程包括创建套接字、绑定地址（接收方）、发送（sendto）与接收（recvfrom）数据、关闭套接字；2. 服务端监听指定端口，接收客户端消息并回传；3. 客户端发送消息至服务端并接收响应；4. 跨平台需处理Winsock初始化与库链接，编…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • JavaScript函数中插入加载动画（Spinner）的正确方法 用户投稿

    JavaScript函数中插入加载动画（Spinner）的正确方法

    本文旨在解决在JavaScript函数中插入加载动画（Spinner）时遇到的异步问题。通过引入async/await和Promise.all，确保在数据处理完成前后正确显示和隐藏加载动画，提升用户体验。我们将提供两种实现方案，并详细解释其原理和优势。 在Web开发中，当执行耗时操作时，显示加载动画…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • 使用 Pydantic v2 实现条件性必填字段 用户投稿

    使用 Pydantic v2 实现条件性必填字段

    本文介绍了如何在 Pydantic v2 模型中实现条件性必填字段。通过自定义验证器，可以根据模型中其他字段的值来动态地控制某些字段是否为必填项，从而满足 API 交互中数据验证的复杂需求。本文提供了一个具体的示例，展示了如何确保模型中至少有一个字段被赋值。 在 Pydantic v2 中，虽然没有…

    程序猿的头像 程序猿
    2026年5月10日
    000

  • 三星不再独享，消息称搭载骁龙 8 Gen 3 领先版处理器新机即将发布

    三星不再独享，消息称搭载骁龙 8 Gen 3 领先版处理器新机即将发布三星不再独享，消息称搭载骁龙 8 Gen 3 领先版处理器新机即将发布三星不再独享，消息称搭载骁龙 8 Gen 3 领先版处理器新机即将发布三星不再独享，消息称搭载骁龙 8 Gen 3 领先版处理器新机即将发布

    6 月 15 日消息，据博主@肥威 今日爆料，搭载骁龙 8 Gen 3 领先版%ign%ignore_a_1%re_a_1%的新机即将发布，把之前的 for Galaxy 改成“for Everybody”。 Pic Copilot AI时代的顶级电商设计师，轻松打造爆款产品图片 158 查看详情 …

    程序猿的头像 程序猿
    2026年5月10日 • 用户投稿
    100
  • 动态更新圆形进度条：JavaScript成绩计算器集成指南 用户投稿

    动态更新圆形进度条：JavaScript成绩计算器集成指南

    本文档旨在指导开发者如何将JavaScript成绩计算系统与动态圆形进度条集成，实现可视化展示平均成绩。我们将详细讲解如何修改现有的JavaScript代码，使其在计算出平均分后，能够动态更新圆形进度条的进度，从而提供更直观的用户体验。本文档包含详细的代码示例和注意事项，帮助开发者轻松实现这一功能。…

    程序猿的头像 程序猿
    2026年5月10日
    000

发表回复

登录后才能评论
关注微信