原创投稿
  1. 创想鸟首页
  2. 用户投稿

北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

程序猿 • • 用户投稿

近年来，针对视觉感知系统安全性评估的探索逐步深入，先后有研究者成功实现基于眼镜、贴纸、衣服等不同载体的可见光模态安全评估技术，也有一些针对红外模态的新尝试。但是它们都只能作用于单一模态。

随着人工智能技术的发展，可见光 – 热红外成像技术已同时应用于治安监控、自动驾驶等诸多安全关键任务中，其中可见光成像可以在白天提供丰富的纹理信息，红外成像则可以在夜间清晰显示目标的热辐射分布，二者结合更为视觉感知系统带来 24 小时全覆盖和不受环境局限等诸多优势。因此，针对多模态视觉感知系统的统一安全评估方法也亟须研究。
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
然而，实现多模态评估极具挑战性。首先，在不同成像机制下攻击方法通用难。以前的方法都分别基于特定目标模态成像特点提出，在其他模态下很难起到作用。再者，平衡隐身性能、制作成本和灵活应用难。对于可见光和更难的红外模态双重有效已是不易，实现低成本便捷制作与使用更是难上加难。
面对诸多挑战，来自北航人工智能研究院的研究者挖掘可见光 – 红外模态间通用的形状属性，创新性地提出 「跨模态通用对抗补丁」，实现可见光 – 红外同步隐身。其遴选易获取、成本低、隔热性能优异的材料制作便捷贴片，即拆即用，在填补当前物理世界可见光 – 红外多模态检测系统鲁棒性评估技术缺失的同时，兼顾物理实现的简易性与即时性。实验证明了该方法在不同检测模型与模态下的有效性，以及多场景下的泛化性。目前，该论文已被 ICCV 2023 接收。
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

讯飞开放平台 讯飞开放平台

科大讯飞推出的以语音交互技术为核心的AI开放平台

讯飞开放平台 152 查看详情 讯飞开放平台

论文链接：https://arxiv.org/abs/2307.07859
代码链接：https://github.com/Aries-iai/Cross-modal_Patch_Attack
技术要点

该研究以进化算法为基础框架，立足形状建模、形状优化、模态平衡三个角度进行方案设计与效果改进，具体流程如图所示：
   
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
1. 基于样条插值的多锚点形状建模
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
对于基础形状建模部分，研究人员设计点优化建模新范式，其可通过改变点坐标直接调整补丁形状，此过程中锚点的运动不会受方向、距离等限制，有效增大了补丁形状的搜索空间。在此基础上，为了确保形状自然性，其还利用样条插值方法实现平滑连接，样条会更紧密地跟随控制点。
2. 基于差分进化的边界限定形状优化算法
实现攻击需要有效的优化手段，为此研究人员从时间成本、实际效果等角度考量，以进化算法作为基本框架，并从边界设定、适应度函数两个角度改进：
（1）边界设定：针对锚点进行边界设定提高形变有效性，降低时间成本。其具有以下设定：不会在曲线段内形成循环或自交；在曲线段内不容易出现尖点；不会出现在无效区域。 
以锚点北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了为例，下图蓝色部分为边界设定图例，橙色部分为错误实例：
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
关于锚点图片的边界判定 北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了 数学表达如下所示：
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
（2）适应度函数：不同于前人工作仅针对于单个模态进行攻击评估，本文工作聚焦于可见光 – 红外两个模态，天然存在平衡模态效果差异的问题。因此为了避免走向易优化单一模态极端，研究人员创新性提出了基于检测器置信度得分感知的跨模态适应度函数，鼓励探索成功方向的同时平衡两模态效果差异，最后根据评分优胜劣汰。考虑到初始阶段和后期阶段攻击难度的不同，其使用指数函数代替线性函数，更加突出不同阶段攻击进度的差异性。
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
                             
算法迭代该探索过程直至两模态都攻击成功，输出最优形状策略。完整优化流程如下所示：
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验结果

实验一：针对不同系列检测器的跨模态攻击性能验证
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验二：针对形状的消融实验
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验三：针对跨模态适应度函数的消融实验
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验四：物理实施偏差下的方法鲁棒性验证
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验五：不同物理条件下的方法有效性验证
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

不同角度、距离、姿势、场景下的性能验证可视化结果

总结

本文工作以自然形状优化为核心，将形变补丁与跨模态攻击相结合，设计了一种物理环境下可见光 – 红外多模态鲁棒性评估方法。该方法可对多模态（可见光 – 红外）目标检测系统的鲁棒性进行评估，根据评估结果有效修正检测器模型，同时提高可见光、红外两种模态下目标图像检测的准确性，在物理环境下做到真正的可实施、可应用，为多模态检测系统的鲁棒性评估与改进作出贡献。

以上就是北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/968651.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

413.8K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
CSS过渡与背景色透明度结合应用_transition rgba应用
上一篇 2025年12月1日 19:32:50
SQL 2022 价格及版本对比 SQL 2022 价格在成本考量中的核心信息与优势
下一篇 2025年12月1日 19:32:57

相关推荐

  • mysql索引类型有哪些 mysql创建不同索引的方法对比

    mysql索引类型有哪些 mysql创建不同索引的方法对比mysql索引类型有哪些 mysql创建不同索引的方法对比mysql索引类型有哪些 mysql创建不同索引的方法对比mysql索引类型有哪些 mysql创建不同索引的方法对比

    mysql支持多种索引类型，选择合适的索引类型可提升数据库性能。1.b-tree索引适用于等值、范围查询和排序，是innodb和myisam的默认索引；2.hash索引仅适合等值查询，不支持范围和排序，memory引擎支持显式创建；3.fulltext索引用于文本搜索，适合关键词查找；4.空间索引（…

    程序猿的头像 程序猿
    2026年9月23日 • 用户投稿
    000
  • Tableau的AI混合工具如何操作？生成智能数据可视化的实用指南 用户投稿

    Tableau的AI混合工具如何操作？生成智能数据可视化的实用指南

    Tableau的AI混合工具通过自然语言查询、自动解释和预测模型，降低数据分析门槛，帮助非技术用户快速获取洞察。首先，Ask Data支持用日常语言提问，自动生成可视化图表，显著提升数据探索效率；其次，Explain Data利用机器学习分析异常点，揭示潜在影响因素，将“是什么”转化为“为什么”；再…

    程序猿的头像 程序猿
    2026年9月23日
    000

  • mysql安装完成如何事件 mysql定时任务设置教程

    mysql安装完成如何事件 mysql定时任务设置教程mysql安装完成如何事件 mysql定时任务设置教程mysql安装完成如何事件 mysql定时任务设置教程mysql安装完成如何事件 mysql定时任务设置教程

    要使用mysql的事件调度器设置定时任务，首先需开启事件调度器，其次创建定时事件，再查看管理事件，最后注意权限与时间格式等问题。具体步骤如下：1. 开启事件调度器：通过命令或配置文件启用；2. 创建事件：使用create event定义执行频率与sql操作；3. 管理事件：可查看、修改或删除已有事件…

    程序猿的头像 程序猿
    2026年9月23日 • 用户投稿
    100
  • OpenAI 与微软达成重磅交易：股权结构再变，投资者面临稀释风险 用户投稿

    OpenAI 与微软达成重磅交易：股权结构再变，投资者面临稀释风险

    据《金融时报》披露，OpenAI 近期完成了一系列关键性交易，使其股权架构日趋复杂，同时也加剧了投资者对未来收益前景的担忧。在这些新协议推动下，OpenAI 的估值已飙升至5000亿美元，跃居全球最具价值的未上市企业之列。这一惊人估值的背后，是公司与英伟达和AMD两家芯片巨头达成的数十亿美元合作协议…

    程序猿的头像 程序猿
    2026年9月23日
    000
  • NS2版《无主之地4》突遭延期！预购将取消 用户投稿

    NS2版《无主之地4》突遭延期！预购将取消

    《无主之地4》现可提前购入，使用金币叠加限时优惠券后，标准版仅需244.5元（共节省 ¥53.5）；超级豪华版为457.4元（总计优惠 ¥100.6）。 原计划于10月3日发布的《无主之地4》Nintendo Switch 2版本已确认延期。Gearbox Entertainment最新发布公告称，…

    程序猿的头像 程序猿
    2026年9月23日
    200
  • 如何在mysql中优化多表JOIN查询 用户投稿

    如何在mysql中优化多表JOIN查询

    答案：优化MySQL多表JOIN需创建关联字段索引、提前过滤数据、选择合适JOIN类型与表序、利用EXPLAIN分析执行计划，并定期更新统计信息以提升查询效率。 在MySQL中优化多表JOIN查询，关键在于减少数据扫描量、提升连接效率，并合理利用索引和执行计划。以下是一些实用的优化策略。 1. 确保…

    程序猿的头像 程序猿
    2026年9月23日
    300
  • WooCommerce 购物车联动：实现赠品自动添加与移除的专业指南 用户投稿

    WooCommerce 购物车联动：实现赠品自动添加与移除的专业指南

    本文提供了一份关于在 woocommerce 中实现自动赠品系统的全面指南。它解决了在程序化添加产品时常见的 `woocommerce_add_to_cart` 递归问题，并提供了一个使用自定义购物车项元数据来管理关联赠品的健壮解决方案，确保赠品能与特定主产品同步添加和移除。 引言 在电子商务中，为…

    程序猿的头像 程序猿
    2026年9月23日
    500

  • MySQL安装需要哪些硬件配置要求？

    MySQL安装需要哪些硬件配置要求？MySQL安装需要哪些硬件配置要求？MySQL安装需要哪些硬件配置要求？MySQL安装需要哪些硬件配置要求？

    mysql的硬件配置需根据应用场景和负载决定，生产环境应重点考虑磁盘i/o、内存、cpu和网络。1. cpu：oltp场景多核心更重要，olap则更依赖主频和缓存；2. 内存：buffer pool越大越好，但需避免过度分配导致swap使用；3. 磁盘i/o：ssd是标配，nvme ssd和raid…

    程序猿的头像 程序猿
    2026年9月23日 • 用户投稿
    200
  • 如何在Procreate中使用AI导出图片？保存高质量图像的正确方法 用户投稿

    如何在Procreate中使用AI导出图片？保存高质量图像的正确方法

    Procreate无内置AI导出功能，但可通过导出高质量图像（如PSD、TIFF、PNG）供外部AI工具优化；选择格式需根据用途，PSD适合协作，TIFF用于印刷，PNG支持透明背景，JPEG慎用以避免压缩损失；画布应高DPI创建，色彩配置优先sRGB，印刷时后期转CMYK更精准。 ☞☞☞AI 智能…

    程序猿的头像 程序猿
    2026年9月23日
    100
  • linux如何优雅的关机 用户投稿

    linux如何优雅的关机

    优雅关机的三大法宝：拔电源、shutdown、poweroff 及其对硬件和数据的影响 在讨论关机方法之前，先了解一下机械硬盘的内部结构。 那固态硬盘SSD呢？ FTL工作示意图。FTL表对SSD至关重要，如果在FTL写回Flash之前突然断电，内存数据丢失，FTL表也将丢失。因此，高端SSD和服务…

    程序猿的头像 程序猿
    2026年9月23日
    100
  • PHP自定义函数：创建与使用 prev_id() 函数的实践指南 用户投稿

    PHP自定义函数：创建与使用 prev_id() 函数的实践指南

    本文旨在指导读者如何定义和实现自定义PHP函数，以解决“Call to undefined function”错误。通过 prev_id() 函数的创建示例，详细阐述了函数的基本语法、参数传递、返回值以及在实际应用（如数据库查询）中的集成方法，并提供了关键注意事项，帮助开发者编写模块化、可维护的代码…

    程序猿的头像 程序猿
    2026年9月23日
    100
  • 四种获取fasta序列长度的方法 用户投稿

    四种获取fasta序列长度的方法

    在处理fasta序列时，我们常常需要知道每条序列的长度。今天小编将与大家分享四种获取fasta序列长度的方法。 一、使用awk 以下是使用awk获取fasta序列长度的代码： awk ‘/^>/{if (l!=””) print l; print; l=0; next}{l+=length($…

    程序猿的头像 程序猿
    2026年9月23日
    200
  • VSCode如何实现代码版本对比 VSCode Git差异对比的高效使用方法 用户投稿

    VSCode如何实现代码版本对比 VSCode Git差异对比的高效使用方法

    vscode通过scm视图直接对比工作区与head的差异；2. 点击已暂存文件可查看暂存区与head的差异；3. 通过命令面板、scm历史记录或右键菜单可对比任意版本或文件；4. 差异视图支持并排和内联模式，并提供跳转导航；5. 时间线视图可追溯文件级提交历史并对比各版本；6. gitlens扩展增…

    程序猿的头像 程序猿
    2026年9月23日
    600

  • mysql索引怎么用 mysql创建索引提高查询性能方法

    mysql索引怎么用 mysql创建索引提高查询性能方法mysql索引怎么用 mysql创建索引提高查询性能方法mysql索引怎么用 mysql创建索引提高查询性能方法mysql索引怎么用 mysql创建索引提高查询性能方法

    索引是mysql中提高查询性能的关键工具，它类似于书籍目录，可快速定位数据。创建索引主要使用create index或alter table语句，例如：create index idx_email on users (email); 或 alter table users add index idx…

    程序猿的头像 程序猿
    2026年9月23日 • 用户投稿
    100
  • Java中基于栈验证JSON字符串结构有效性的方法 用户投稿

    Java中基于栈验证JSON字符串结构有效性的方法

    本文探讨了在Java中利用栈（Stack）数据结构验证JSON字符串结构有效性的方法。我们将分析一个常见的基于栈的实现示例，指出其在处理字符串内部字符、引号平衡以及转义字符方面的潜在缺陷。文章将提供一个改进的解决方案，并强调此方法主要用于结构匹配，而非完整的JSON语法验证，同时建议生产环境中使用专…

    程序猿的头像 程序猿
    2026年9月23日
    200
  • 快手极速版官方网页版地址_快手极速版App下载官网首页 用户投稿

    快手极速版官方网页版地址_快手极速版App下载官网首页

    快手极速版官方网页版地址在哪里？这是不少网友都关注的，接下来由PHP小编为大家带来快手极速版官方网页版地址及App下载相关信息，感兴趣的网友一起随小编来瞧瞧吧！ https://www.kuaishou.com/ 1、小步骤内容。进入官网后可直接浏览平台首页推荐内容，涵盖生活记录、才艺展示等多个领域…

    程序猿的头像 程序猿
    2026年9月23日
    300

  • Flink项目实践 | Flink 单机安装部署

    Flink项目实践 | Flink 单机安装部署Flink项目实践 | Flink 单机安装部署Flink项目实践 | Flink 单机安装部署Flink项目实践 | Flink 单机安装部署

    apache flink 是一个用于对无界和有界数据流进行状态计算的框架和分布式处理引擎。flink 设计旨在所有常见集群环境中运行，并以内存速度和任意规模进行计算。 为了深入了解 Flink，首先需要搭建其运行环境。 Flink 可以在所有类似 UNIX 的环境中运行，包括 Linux，Mac O…

    程序猿的头像 程序猿
    2026年9月23日 • 用户投稿
    200
  • 如何在AdobeFresco导出AI生成的画作？快速保存图像的教程 用户投稿

    如何在AdobeFresco导出AI生成的画作？快速保存图像的教程

    答案：Adobe Fresco支持PNG、JPG、PSD、PDF和MP4等导出格式。PNG适合透明背景和高质量网络展示；JPG适用于小文件、快速分享的有损压缩图像；PSD保留图层与矢量信息，便于在Photoshop中继续编辑；PDF适合打印和跨平台文档共享；MP4用于导出创作延时视频。选择格式时需根…

    程序猿的头像 程序猿
    2026年9月23日
    100
  • VSCode配置MacOS C环境 详细图解VSCode搭建C++开发 用户投稿

    VSCode配置MacOS C环境 详细图解VSCode搭建C++开发

    在mac++os上用vscode配置c/c++环境的关键是安装xcode command line tools以获取clang编译器和lldb调试器，然后安装vscode的c/c++扩展，接着创建项目文件夹和源文件，通过配置tasks.json定义编译任务，确保使用clang编译当前文件并生成可执行…

    程序猿的头像 程序猿
    2026年9月23日
    100

  • Snagit的AI工具怎么裁剪图片？教你精准完成图片裁剪方法

    Snagit的AI工具怎么裁剪图片？教你精准完成图片裁剪方法Snagit的AI工具怎么裁剪图片？教你精准完成图片裁剪方法Snagit的AI工具怎么裁剪图片？教你精准完成图片裁剪方法Snagit的AI工具怎么裁剪图片？教你精准完成图片裁剪方法

    Snagit虽无一键AI裁剪，但通过魔棒、智能移动等智能工具辅助选区，结合裁剪功能可高效精准裁剪；关键在于利用颜色识别与对象分离技术提升效率，避免纯手动操作，再通过调整比例、放大细节、善用撤销等功能优化结果。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R…

    程序猿的头像 程序猿
    2026年9月23日 • 用户投稿
    100

发表回复

登录后才能评论
关注微信