投稿获客
  1. 创想鸟首页
  2. 科技

北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

程序猿 • • 科技 • 阅读 0

近年来，针对视觉感知系统安全性评估的探索逐步深入，先后有研究者成功实现基于眼镜、贴纸、衣服等不同载体的可见光模态安全评估技术，也有一些针对红外模态的新尝试。但是它们都只能作用于单一模态。

随着人工智能技术的发展，可见光 – 热红外成像技术已同时应用于治安监控、自动驾驶等诸多安全关键任务中，其中可见光成像可以在白天提供丰富的纹理信息，红外成像则可以在夜间清晰显示目标的热辐射分布，二者结合更为视觉感知系统带来 24 小时全覆盖和不受环境局限等诸多优势。因此，针对多模态视觉感知系统的统一安全评估方法也亟须研究。
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
然而，实现多模态评估极具挑战性。首先，在不同成像机制下攻击方法通用难。以前的方法都分别基于特定目标模态成像特点提出，在其他模态下很难起到作用。再者，平衡隐身性能、制作成本和灵活应用难。对于可见光和更难的红外模态双重有效已是不易，实现低成本便捷制作与使用更是难上加难。
面对诸多挑战，来自北航人工智能研究院的研究者挖掘可见光 – 红外模态间通用的形状属性，创新性地提出 「跨模态通用对抗补丁」，实现可见光 – 红外同步隐身。其遴选易获取、成本低、隔热性能优异的材料制作便捷贴片，即拆即用，在填补当前物理世界可见光 – 红外多模态检测系统鲁棒性评估技术缺失的同时，兼顾物理实现的简易性与即时性。实验证明了该方法在不同检测模型与模态下的有效性，以及多场景下的泛化性。目前，该论文已被 ICCV 2023 接收。
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

讯飞开放平台 讯飞开放平台

科大讯飞推出的以语音交互技术为核心的AI开放平台

讯飞开放平台 152 查看详情 讯飞开放平台

论文链接：https://arxiv.org/abs/2307.07859
代码链接：https://github.com/Aries-iai/Cross-modal_Patch_Attack
技术要点

该研究以进化算法为基础框架，立足形状建模、形状优化、模态平衡三个角度进行方案设计与效果改进，具体流程如图所示：
   
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
1. 基于样条插值的多锚点形状建模
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
对于基础形状建模部分，研究人员设计点优化建模新范式，其可通过改变点坐标直接调整补丁形状，此过程中锚点的运动不会受方向、距离等限制，有效增大了补丁形状的搜索空间。在此基础上，为了确保形状自然性，其还利用样条插值方法实现平滑连接，样条会更紧密地跟随控制点。
2. 基于差分进化的边界限定形状优化算法
实现攻击需要有效的优化手段，为此研究人员从时间成本、实际效果等角度考量，以进化算法作为基本框架，并从边界设定、适应度函数两个角度改进：
（1）边界设定：针对锚点进行边界设定提高形变有效性，降低时间成本。其具有以下设定：不会在曲线段内形成循环或自交；在曲线段内不容易出现尖点；不会出现在无效区域。 
以锚点北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了为例，下图蓝色部分为边界设定图例，橙色部分为错误实例：
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
关于锚点图片的边界判定 北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了 数学表达如下所示：
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
（2）适应度函数：不同于前人工作仅针对于单个模态进行攻击评估，本文工作聚焦于可见光 – 红外两个模态，天然存在平衡模态效果差异的问题。因此为了避免走向易优化单一模态极端，研究人员创新性提出了基于检测器置信度得分感知的跨模态适应度函数，鼓励探索成功方向的同时平衡两模态效果差异，最后根据评分优胜劣汰。考虑到初始阶段和后期阶段攻击难度的不同，其使用指数函数代替线性函数，更加突出不同阶段攻击进度的差异性。
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
                             
算法迭代该探索过程直至两模态都攻击成功，输出最优形状策略。完整优化流程如下所示：
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验结果

实验一：针对不同系列检测器的跨模态攻击性能验证
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验二：针对形状的消融实验
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验三：针对跨模态适应度函数的消融实验
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验四：物理实施偏差下的方法鲁棒性验证
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
实验五：不同物理条件下的方法有效性验证
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

不同角度、距离、姿势、场景下的性能验证可视化结果

总结

本文工作以自然形状优化为核心，将形变补丁与跨模态攻击相结合，设计了一种物理环境下可见光 – 红外多模态鲁棒性评估方法。该方法可对多模态（可见光 – 红外）目标检测系统的鲁棒性进行评估，根据评估结果有效修正检测器模型，同时提高可见光、红外两种模态下目标图像检测的准确性，在物理环境下做到真正的可实施、可应用，为多模态检测系统的鲁棒性评估与改进作出贡献。

以上就是北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/968651.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

266.4K 文章
0 评论
1 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年12月1日 19:32:40
下一篇 2025年12月1日 19:33:01

相关推荐

  • 怎样用免费工具美化PPT_免费美化PPT的实用方法分享

    利用KIMI智能助手可免费将PPT美化为科技感风格，但需核对文字准确性；2. 天工AI擅长优化内容结构，提升逻辑性，适合高质量内容需求；3. SlidesAI支持语音输入与自动排版，操作便捷，利于紧急场景；4. Prezo提供多种模板，自动生成图文并茂幻灯片，适合学生与初创团队。 如果您有一份内容完…

    程序猿的头像 程序猿
    2025年12月6日 • 软件教程
    000

  • Pages怎么协作编辑同一文档 Pages多人实时协作的流程

    首先启用Pages共享功能，点击右上角共享按钮并选择“添加协作者”，设置为可编辑并生成链接；接着复制链接通过邮件或社交软件发送给成员，确保其使用Apple ID登录iCloud后即可加入编辑；也可直接在共享菜单中输入邮箱地址定向邀请，设定编辑权限后发送；最后在共享面板中管理协作者权限，查看实时在线状…

    程序猿的头像 程序猿
    2025年12月6日 • 软件教程
    100

  • REDMI K90系列正式发布，售价2599元起！

    10月23日，redmi k90系列正式亮相，推出redmi k90与redmi k90 pro max两款新机。其中，redmi k90搭载骁龙8至尊版处理器、7100mah大电池及100w有线快充等多项旗舰配置，起售价为2599元，官方称其为k系列迄今为止最完整的标准版本。 图源：REDMI红米…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    200

  • Linux中如何安装Nginx服务_Linux安装Nginx服务的完整指南

    首先更新系统软件包，然后通过对应包管理器安装Nginx，启动并启用服务，开放防火墙端口，最后验证欢迎页显示以确认安装成功。 在Linux系统中安装Nginx服务是搭建Web服务器的第一步。Nginx以高性能、低资源消耗和良好的并发处理能力著称，广泛用于静态内容服务、反向代理和负载均衡。以下是在主流L…

    程序猿的头像 程序猿
    2025年12月6日 • 运维
    000

  • Linux journalctl与systemctl status结合分析

    先看 systemctl status 确认服务状态，再用 journalctl 查看详细日志。例如 nginx 启动失败时，systemctl status 显示 Active: failed，journalctl -u nginx 发现端口 80 被占用，结合两者可快速定位问题根源。 在 Lin…

    程序猿的头像 程序猿
    2025年12月6日 • 运维
    100

  • 华为新机发布计划曝光：Pura 90系列或明年4月登场

    近日，有数码博主透露了华为2025年至2026年的新品规划，其中pura 90系列预计在2026年4月发布，有望成为华为新一代影像旗舰。根据路线图，华为将在2025年底至2026年陆续推出mate 80系列、折叠屏新机mate x7系列以及nova 15系列，而pura 90系列则将成为2026年上…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    100

  • Linux如何优化系统性能_Linux系统性能优化的实用方法

    优化Linux性能需先监控资源使用，通过top、vmstat等命令分析负载，再调整内核参数如TCP优化与内存交换，结合关闭无用服务、选用合适文件系统与I/O调度器，持续按需调优以提升系统效率。 Linux系统性能优化的核心在于合理配置资源、监控系统状态并及时调整瓶颈环节。通过一系列实用手段，可以显著…

    程序猿的头像 程序猿
    2025年12月6日 • 运维
    000

  • 曝小米17 Air正在筹备 超薄机身＋2亿像素＋eSIM技术？

    近日，手机行业再度掀起超薄机型热潮，三星与苹果已相继推出s25 edge与iphone air等轻薄旗舰，引发市场高度关注。在此趋势下，多家国产厂商被曝正积极布局相关技术，加速抢占这一细分赛道。据业内人士消息，小米的超薄旗舰机型小米17 air已进入筹备阶段。 小米17 Pro 爆料显示，小米正在评…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    000

  • 荣耀手表5Pro 10月23日正式开启首销国补优惠价1359.2元起售

    荣耀手表5pro自9月25日开启全渠道预售以来，市场热度持续攀升，上市初期便迎来抢购热潮，一度出现全线售罄、供不应求的局面。10月23日，荣耀手表5pro正式迎来首销，提供蓝牙版与esim版两种选择。其中，蓝牙版本的攀登者（橙色）、开拓者（黑色）和远航者（灰色）首销期间享受国补优惠价，到手价为135…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    000

  • 环境搭建docker环境下如何快速部署mysql集群

    使用Docker Compose部署MySQL主从集群，通过配置文件设置server-id和binlog，编写docker-compose.yml定义主从服务并组网，启动后创建复制用户并配置主从连接，最后验证数据同步是否正常。 在Docker环境下快速部署MySQL集群，关键在于合理使用Docker…

    程序猿的头像 程序猿
    2025年12月6日 • 数据库
    000

  • Xbox删忍龙美女角色 斯宾塞致敬板垣伴信被喷太虚伪

    近日，海外游戏推主@HaileyEira公开发表言论，批评Xbox负责人菲尔·斯宾塞不配向已故的《死或生》与《忍者龙剑传》系列之父板垣伴信致敬。她指出，Xbox并未真正尊重这位传奇制作人的创作遗产，反而在宣传相关作品时对内容进行了审查和删减。 所涉游戏为年初推出的《忍者龙剑传2：黑之章》，该作采用虚…

    程序猿的头像 程序猿
    2025年12月6日 • 游戏教程
    000

  • 如何在mysql中分析索引未命中问题

    答案是通过EXPLAIN分析执行计划，检查索引使用情况，优化WHERE条件写法，避免索引失效，结合慢查询日志定位问题SQL，并根据查询模式合理设计索引。 当 MySQL 查询性能下降，很可能是索引未命中导致的。要分析这类问题，核心是理解查询执行计划、检查索引设计是否合理，并结合实际数据访问模式进行优…

    程序猿的头像 程序猿
    2025年12月6日 • 数据库
    000

  • VSCode入门：基础配置与插件推荐

    刚用VSCode，别急着装一堆东西。先把基础设好，再按需求加插件，效率高还不卡。核心就三步：界面顺手、主题舒服、功能够用。 设置中文和常用界面 打开软件，左边活动栏有五个图标，点最下面那个“扩展”。搜索“Chinese”，装上官方出的“Chinese (Simplified) Language Pa…

    程序猿的头像 程序猿
    2025年12月6日 • 开发工具
    000

  • php查询代码怎么写_php数据库查询语句编写技巧与实例

    在PHP中进行数据库查询，最常用的方式是使用MySQLi或PDO扩展连接MySQL数据库。下面介绍基本的查询代码写法、编写技巧以及实用示例，帮助你高效安全地操作数据库。 1. 使用MySQLi进行查询（面向对象方式） 这是较为推荐的方式，适合大多数中小型项目。 // 创建连接$host = ‘loc…

    程序猿的头像 程序猿
    2025年12月6日 • 后端开发
    000

  • 重现iPhone X颠覆性时刻！苹果2027年跳过19命名iPhone 20

    10月23日，有消息称，苹果或将再次调整iPhone的发布节奏，考虑跳过“iPhone 19”，并于2027年直接推出“iPhone 20”系列。 此举据传是为了庆祝初代iPhone发布二十周年，同时开启新一轮的设计革新，目标是复刻2017年iPhone X带来的划时代变革。 据悉，苹果或将告别长期…

    程序猿的头像 程序猿
    2025年12月6日 • 手机教程
    000

  • 如何在mysql中使用索引提高查询效率

    合理创建索引可显著提升MySQL查询效率，应优先为WHERE、JOIN、ORDER BY等高频字段建立B-Tree复合索引，如CREATE INDEX idx_status_created ON users(status, created_at, id)，并遵循最左前缀原则；避免在索引列使用函数或前…

    程序猿的头像 程序猿
    2025年12月6日 • 数据库
    000

  • Linux命令行中free命令的使用方法

    free命令用于查看Linux内存使用情况，包括总内存、已用、空闲、共享、缓存及可用内存；使用-h可读格式显示，-s周期刷新，-c限制次数，-t显示总计，帮助快速评估系统内存状态。 free命令用于显示Linux系统中内存和交换空间的使用情况，包括物理内存、已用内存、空闲内存以及缓存和缓冲区的占用情…

    程序猿的头像 程序猿
    2025年12月6日 • 运维
    000

  • 在 Java 中使用 Argparse4j 接收 Duration 类型参数

    本文介绍了如何使用 `net.sourceforge.argparse4j` 库在 Java 命令行程序中接收 `java.time.Duration` 类型的参数。由于 `Duration` 不是原始数据类型，需要通过自定义类型转换器或工厂方法来处理。文章提供了两种实现方案，分别基于 `value…

    程序猿的头像 程序猿
    2025年12月6日 • java
    000

  • Linux命令行中tail -f命令的详细应用

    tail -f 用于实时监控文件新增内容，常用于日志查看；支持 -F 处理轮转、-n 指定行数、结合 grep 过滤，可监控多文件，需注意权限与资源释放。 tail -f 是 Linux 中一个非常实用的命令，主要用于实时查看文件的新增内容，尤其在监控日志文件时极为常见。它会持续输出文件末尾新增的数…

    程序猿的头像 程序猿
    2025年12月6日 • 运维
    000

  • Phaser 3游戏画布响应式布局：实现高度适配与宽度裁剪

    本文深入探讨phaser 3游戏画布在特定响应式场景下的布局策略，尤其是在需要画布高度适配父容器并允许左右内容裁剪时。通过结合phaser的scalemanager中的`height_controls_width`模式与精细的css布局，本教程将展示如何实现一个既能保持游戏画面比例，又能完美融入不同…

    程序猿的头像 程序猿
    2025年12月6日 • web前端
    000

发表回复

登录后才能评论
关注微信