生成人工智能聊天机器人和大型语言模型增强网络安全的六种方法

       从风险的角度来看,生成式人工智能聊天机器人和大型语言模型可能是一把双刃剑,但如果使用得当,它们也可以在关键方面改善网络安全。

闪念贝壳 闪念贝壳

闪念贝壳是一款AI 驱动的智能语音笔记,随时随地用语音记录你的每一个想法。

闪念贝壳 218 查看详情 闪念贝壳

OpenAI公司开发的ChatGPT的迅速崛起是今年最大的新闻之一,生成式AI聊天机器人和大型语言模型对网络安全的潜在影响是讨论的关键领域。关于这些新技术可能带来的安全风险有很多讨论,从担心与高级自学习算法共享敏感业务信息到恶意行为者使用它们来显著增强攻击。

一些国家、各州和企业以数据安全、保护和隐私为由,下令禁止使用ChatGPT等生成式人工智能技术。显然,生成式人工智能聊天机器人和大型大型语言模型带来的安全风险是相当大的。然而,生成式人工智能聊天机器人可以通过多种方式增强企业的网络安全,为安全团队打击网络犯罪活动提供急需的助力。

以下是生成式人工智能聊天机器人和大型语言模型提高安全性的6种方法。

漏洞扫描和过滤

根据云安全联盟(CSA)一份探讨大型语言模型网络安全影响的报告,生成式人工智能模型可用于显著增强安全漏洞的扫描和过滤。在论文中,云安全联盟(CSA)证明了OpenAI的CodexAPI是针对C、c#、Java和JavaScript等编程语言的有效漏洞扫描器。“我们可以预见,大型语言模型,就像Codex家族中的那些一样,将成为未来漏洞扫描器的标准组成部分,”论文写道。例如,可以开发扫描器来检测和标记各种语言中的不安全代码模式,帮助开发人员在潜在的漏洞成为关键的安全风险之前解决它们。

至于过滤,生成式人工智能模型可以解释并为威胁标识符添加有价值的场景,否则可能会被人类安全人员遗漏。例如,MITREATT&CK框架中的技术标识符TT1059.001可能会被报告,但对于一些网络安全专业人员来说并不熟悉,因此需要进行简要的解释。ChatGPT可以准确地将代码识别为MITREATT&CK标识符,并提供与之相关的具体问题的解释,其中涉及使用恶意PowerShell脚本。它还详细阐述了PowerShell的性质及其在网络安全攻击中的潜在用途,并提供了相关示例。

今年5月,OXSecurity宣布推出OX-gpt,这是一个ChatGPT集成,旨在帮助开发人员提供定制的代码修复建议和剪切粘贴代码修复,包括代码如何被黑客利用,攻击的可能影响以及对组织的潜在损害。

反转附加组件,分析PE文件的api

DeepInstinct网络智能工程经理MattFulmer表示,基于IDA和Ghidra等逆向工程框架,生成式人工智能/大型语言模型(LLM)技术可用于帮助构建规则和逆转流行的附加组件。“如果你明确了自己的需求,并将其与MITRE的攻击和攻击策略进行比较,你就可以将结果离线,并更好地将其用作防御。”

llm还可以通过应用程序进行交流,分析可移植可执行文件(PE)的API,并告诉你它们的用途,他补充道。“这可以减少安全研究人员花在查看PE文件和分析其中API通信上的时间。”

威胁搜索查询

根据CSA的说法,安全防御者可以通过利用ChatGPT和其他llm来创建威胁搜索查询来提高效率并加快响应时间。通过为恶意软件研究和检测工具(如YARA)生成查询,ChatGPT有助于快速识别和减轻潜在威胁,使防御者能够专注于其网络安全工作的关键方面。事实证明,在不断发展的威胁环境中,这种能力对于保持稳健的安全态势是无价的。可以根据特定需求和组织希望在其环境中检测或监视的威胁来定制规则。

人工智能可以提高供应链的安全性

生成式人工智能模型可以通过识别供应商的潜在漏洞来解决供应链安全风险。今年4月,SecurityScorecard宣布推出一个新的安全评级平台,通过与OpenAI的GPT-4系统和自然语言全球搜索集成来实现这一目标。据该公司称,客户可以询问有关其业务生态系统的开放式问题,包括供应商的详细信息,并迅速获得答案,以推动风险管理决策。例如,“找到我的10个评级最低的供应商”或“显示我的哪些关键供应商在过去一年中被入侵”——SecurityScorecard声称,这些问题将产生结果,使团队能够快速做出风险管理决策。

检测攻击中的生成AI文本

据CSA称,大型语言模型不仅生成文本,而且还致力于检测和水印人工智能生成的文本,这可能成为电子邮件保护软件的常见功能。CSA表示,识别攻击中人工智能生成的文本可以帮助检测网络钓鱼邮件和多态代码,并且可以假设llm可以轻松检测非典型电子邮件地址发件人或其相应的域,同时能够检查文本中的底层链接是否指向已知的恶意网站。

安全代码的生成和传输

像ChatGPT这样的llm可以用来生成和传输安全代码。CSA引用了一个网络钓鱼活动的例子,该活动成功地针对了公司内的几名员工,可能暴露了他们的凭证。虽然知道哪些员工打开了网络钓鱼邮件,但尚不清楚他们是否无意中执行了旨在窃取他们凭证的恶意代码。

为了调查这个问题,可以使用Microsoft365Defender高级搜索查询来查找电子邮件收件人在收到已知恶意电子邮件后30分钟内执行的最近10次登录事件。该查询有助于识别任何可能与受损凭据相关的可疑登录活动。”

在这里,ChatGPT可以提供Microsoft365Defender搜索查询,以检查受感染的电子邮件帐户的登录尝试,这有助于阻止攻击者进入系统,并澄清用户是否需要更改密码。这是在网络事件响应期间减少行动时间的一个很好的例子。

基于相同的示例,您可能会遇到相同的问题并找到Microsoft365Defender查找查询,但是您的系统不使用KQL编程语言。可以进行编程语言风格转换,而不是用您想要的语言搜索正确的示例。

他说,“这个例子说明了ChatGPT的底层Codex模型可以采用源代码示例并用另一种编程语言生成示例。它还通过在其提供的答案和新创建背后的方法中添加关键细节,简化了最终用户的过程。”

根据CSA的说法,安全防御者可以通过利用ChatGPT和其他llm来创建威胁搜索查询来提高效率并加快响应时间。通过为恶意软件研究和检测工具(如YARA)生成查询,ChatGPT有助于快速识别和减轻潜在威胁,使防御者能够专注于其网络安全工作的关键方面。事实证明,在不断发展的威胁环境中,这种能力对于保持稳健的安全态势是无价的。可以根据特定需求和组织希望在其环境中检测或监视的威胁来定制规则。

人工智能可以提高供应链的安全性

生成式人工智能模型可以通过识别供应商的潜在漏洞来解决供应链安全风险。今年4月,SecurityScorecard宣布推出一个新的安全评级平台,通过与OpenAI的GPT-4系统和自然语言全球搜索集成来实现这一目标。据该公司称,客户可以询问有关其业务生态系统的开放式问题,包括供应商的详细信息,并迅速获得答案,以推动风险管理决策。例如,“找到我的10个评级最低的供应商”或“显示我的哪些关键供应商在过去一年中被入侵”——SecurityScorecard声称,这些问题将产生结果,使团队能够快速做出风险管理决策。

检测攻击中的生成AI文本

据CSA称,大型语言模型不仅生成文本,而且还致力于检测和水印人工智能生成的文本,这可能成为电子邮件保护软件的常见功能。CSA表示,识别攻击中人工智能生成的文本可以帮助检测网络钓鱼邮件和多态代码,并且可以假设llm可以轻松检测非典型电子邮件地址发件人或其相应的域,同时能够检查文本中的底层链接是否指向已知的恶意网站。

安全代码的生成和传输

像ChatGPT这样的llm可以用来生成和传输安全代码。CSA引用了一个网络钓鱼活动的例子,该活动成功地针对了公司内的几名员工,可能暴露了他们的凭证。虽然知道哪些员工打开了网络钓鱼邮件,但尚不清楚他们是否无意中执行了旨在窃取他们凭证的恶意代码。

为了调查这个问题,可以使用Microsoft365Defender高级搜索查询来查找电子邮件收件人在收到已知恶意电子邮件后30分钟内执行的最近10次登录事件。该查询有助于识别任何可能与受损凭据相关的可疑登录活动。”

在这里,ChatGPT可以提供Microsoft365Defender搜索查询,以检查受感染的电子邮件帐户的登录尝试,这有助于阻止攻击者进入系统,并澄清用户是否需要更改密码。这是在网络事件响应期间减少行动时间的一个很好的例子。

基于相同的示例,您可能会遇到相同的问题并找到Microsoft365Defender查找查询,但是您的系统不使用KQL编程语言。您可以进行编程语言风格转换,而不是用您想要的语言搜索正确的示例。

“这个例子说明了ChatGPT的底层Codex模型可以采用源代码示例并用另一种编程语言生成示例。它还通过在其提供的答案和新创建背后的方法中添加关键细节,简化了最终用户的过程。”领导者必须确保生成式人工智能聊天机器人的安全使用

Gigamon首席战略官ChaimMazal表示,与许多现代技术一样,从风险的角度来看,人工智能和大型语言模型可能是一把双刃剑,因此,领导者必须确保自己的团队安全可靠地使用这些产品。“安全和法律团队应该合作,为他们的组织找到最好的前进道路,在不损害知识产权或安全的情况下利用这些技术的能力。”

富尔默说,生成式人工智能是基于过时的结构化数据,所以只有在评估其在安全和防御方面的应用时,才能把它作为一个起点。例如,如果将其用于上述任何好处,则需要证明其输出是合理的。把输出放到线下,让人把它做得更好、更准确、更可操作。”

随着时间的推移,生成式人工智能聊天机器人/大型语言模型最终将自然地增强安全性和防御能力,但利用人工智能/大型语言模型来帮助而不是伤害网络安全态势,最终都将归结为内部沟通和响应。到Mazal说。“生成式人工智能/大型语言模型可以成为让利益相关者以更快、更有效的方式全面解决安全问题的一种手段。领导者必须沟通如何利用工具来支持组织目标,同时教育他们了解潜在的威胁。”

TovieAI公司的人工智能技术主管兼首席执行官JoshuaKaiser表示,人工智能聊天机器人也需要定期更新,以保持对威胁的有效防御,而人类的监督对于确保大型语言模型的正常运作至关重要。他说,“此外,大型语言模型需要理解场景,以提供准确的响应并捕捉任何安全问题,并应定期进行测试和评估,以识别潜在的弱点或漏洞。”

以上就是生成人工智能聊天机器人和大型语言模型增强网络安全的六种方法的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/976816.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年12月1日 20:30:06
下一篇 2025年12月1日 20:30:48

相关推荐

  • html搜索框如何跳转_实现HTML搜索框跳转搜索结果【结果】

    HTML搜索框跳转失败多因表单action或参数错误,可通过五种方法解决:一、百度用form提交至https://www.baidu.com/s?q=关键词;二、Google类似,action为https://www.google.com/search;三、JavaScript拼接必应URL并loc…

    2025年12月23日
    200
  • 从OpenAI API JSON响应中高效提取生成文本内容

    本教程详细指导开发者如何从openai api返回的json格式响应中准确提取生成的文本。通过利用`json.parse()`方法解析响应字符串,并访问`choices[0].text`属性,可以安全、高效地获取核心文本内容,从而避免直接字符串操作的潜在问题,确保api数据处理的健壮性。 OpenA…

    2025年12月23日
    000
  • ai做html怎么运行_AI生成html运行步骤【教程】

    答案是使用AI生成HTML代码后,将其保存为.html文件并用浏览器打开即可运行。具体步骤为:1. 在AI工具中输入需求生成HTML代码;2. 将代码复制到文本编辑器并另存为index.html,编码选UTF-8,类型选“所有文件”;3. 双击该文件用浏览器打开,若无法正常显示需检查文件后缀、编码及…

    2025年12月23日
    000
  • HTML语义化未来趋势有哪些_HTML语义化在Web发展中的趋势与展望

    HTML语义化正朝着智能、高效、包容发展,深度融合结构化数据与ARIA属性,提升机器理解;2. 组件化趋势推动可复用语义结构普及,Web Components实现自定义语义标签;3. 语义化助力性能优化与可访问性,支持懒加载与内容优先级划分;4. AI工具将自动生成语义化代码并辅助检测,降低实践门槛…

    2025年12月23日
    000
  • HTML数据如何实现数据智能 HTML数据智能分析的技术架构

    实现HTML数据智能分析需构建包含采集、解析、存储、分析与可视化的闭环系统,首先通过爬虫技术获取网页数据并进行清洗标准化,接着利用DOM树分析与NLP技术提取结构化信息,随后将数据存入合适数据库或数据仓库并建立元数据管理机制,进而应用AI模型开展分类、情感分析、趋势预测与知识图谱构建等智能分析,最终…

    2025年12月23日
    000
  • HTML5 section怎么用_HTML5内容分区标签应用场景说明

    在HTML5中,标签用于定义文档中具有明确主题的独立内容区块,需包含标题以体现其结构性与语义性,常用于文章章节、产品模块等场景,区别于无语义的和可独立分发的。 在HTML5中,section 标签用于定义文档中的一个独立内容区块。它不是简单的容器,而是有语义的结构化标签,表示文档中一个主题性的分区,…

    2025年12月23日
    000
  • htm算法 前景如何_分析HTM算法应用前景

    HTM算法在实时异常检测、预测性维护等时序数据场景中具备应用价值,其无需大量标注数据的特性适合工业监控、网络安防等领域;但受限于生态薄弱、性能不及主流模型及工程实现难度,短期内难以成为主流,更可能作为边缘计算或AI系统补充技术,在特定专业领域持续发展。 HTM(Hierarchical Tempor…

    2025年12月23日
    000
  • HTML结构化数据怎么添加_Schema标记添加教程

    Schema标记通过结构化数据帮助搜索引擎理解网页内容,提升搜索结果展示效果,如添加星级评分、价格等富文本信息。使用JSON-LD或Microdata格式将符合Schema.org标准的类型(如Article、Product)嵌入HTML中,可增强SEO,需通过Google Rich Results…

    2025年12月22日
    000
  • 使用HTML、CSS和jQuery实现带计数器的点赞按钮

    本文详细介绍了如何使用HTML、CSS和jQuery构建一个功能完善的带计数器的点赞按钮。教程涵盖了从前端界面构建、JavaScript交互逻辑到模拟后端数据存储与更新的全过程,旨在帮助开发者实现用户友好的互动功能,并为实际的服务器端集成提供指导。 1. 功能概述 点赞按钮是现代网页应用中常见的互动…

    2025年12月22日
    000
  • 如何实现自定义提示

    掌握自定义提示需构建迭代工作流,通过明确目标、设定角色、提供上下文、结构化输出、示例引导、迭代优化、负面提示和链式思考,实现AI输出的精准控制与高效协同。 实现自定义提示,核心在于理解与AI模型交互的本质,并将其从“提问”升级为“引导”。它不是简单的抛出问题,而是通过精心设计的语言结构、上下文信息、…

    2025年12月22日
    000
  • p5.js中类方法声明的语法解析与常见错误修复指南

    本文旨在解决从java processing迁移至p5.js时常见的语法错误,特别是类内部方法声明不当引发的问题。我们将深入探讨javascript中全局函数与类方法声明的语法差异,提供清晰的示例代码,并指导如何识别和修复“unexpected token”及“declaration or stat…

    2025年12月21日
    000
  • 解决JavaScript动态加载图片不显示问题:DOM操作与常见错误解析

    本文旨在解决通过JavaScript动态加载图片时,图片无法正常显示的问题。我们将深入探讨DOM操作中`querySelector`选择器使用的常见错误,特别是针对ID选择器遗漏`#`符号的情况。通过分析问题代码并提供修正后的实现,文章还将介绍如何正确地清除输入字段、处理图片加载错误以及优化用户体验…

    2025年12月21日
    000
  • p5.js中类方法声明的语法修正与迁移指南

    本文深入探讨了将Processing/Java代码转换为p5.js时,因JavaScript类方法声明语法差异而引发的常见错误。我们将重点解析`Unexpected token`和`Declaration or statement expected`等错误信息,明确全局函数与类成员方法在JavaSc…

    2025年12月21日
    000
  • Node.js连接MongoDB:深入理解Promise处理机制

    当mongodb服务器显示“waiting for connections”,但node.js应用无响应时,通常是因为mongodb node.js驱动的`connect`方法返回promise。本文将详细讲解如何使用`.then()`或`async/await`正确处理异步连接,确保应用能成功连接…

    2025年12月21日
    000
  • TypeScript泛型函数中复杂对象结构类型推断的精确控制

    本文探讨了在typescript中处理复杂嵌套对象结构时,如何为泛型函数实现精确的类型推断。通过一个具体的汽车品牌和车型数据场景,我们分析了`object.values`等操作可能导致类型信息丢失的问题。核心解决方案是利用映射类型(mapped types)重构数据结构,以显式地建立泛型键与对应值之…

    2025年12月21日
    000
  • JavaScript机器学习与人工智能库应用

    JavaScript在AI领域应用扩展,依托TensorFlow.js实现浏览器内模型推理与训练,利用WebGL加速;ML5.js提供高层接口,简化图像识别、风格迁移等功能调用;Brain.js支持轻量级神经网络开发,适用于前端智能场景如实时检测、自动补全等,虽性能不及Python,但在交互式轻量应…

    2025年12月20日
    100
  • LangChain HNSWLib 向量存储机制与数据持久化指南

    本文详细解析langchain中hnswlib向量存储的工作原理,明确其作为内存存储的特性,指出数据实际存储在项目部署的服务器上,而非langchain官方服务器。同时,文章将指导如何通过save_local()方法将内存中的向量数据持久化到本地文件,确保数据安全与可靠性,并探讨在实际应用中的注意事…

    2025年12月20日
    000
  • 解决 ChatGPT 扩展选择器失效问题:一个实战教程

    本文旨在帮助开发者解决 ChatGPT 网页更新导致扩展选择器失效的问题。通过分析问题原因,提供利用开发者工具查找新选择器的方法,并展示了使用 getElementsByClassName() 替代 querySelector() 的解决方案,以确保扩展功能在 ChatGPT 最新版本中正常运行。 …

    2025年12月20日
    000
  • ChatGPT 扩展失效:定位新版选择器并修复

    本文旨在帮助开发者解决因 ChatGPT 网页更新导致扩展失效的问题。通过分析失效原因,提供利用开发者工具定位新版选择器的实用方法,并给出示例代码,帮助开发者快速修复扩展,恢复其功能。 当 ChatGPT 网页更新时,依赖于特定 CSS 选择器的扩展程序可能会失效。这通常是因为网页结构的改变导致原有…

    2025年12月20日
    000
  • ChatGPT 扩展失效?定位新版选择器的实用指南

    本文旨在帮助开发者解决因 ChatGPT 网页更新导致扩展失效的问题。重点讲解如何定位新版 ChatGPT 网页中的目标元素,并提供使用 getElementsByClassName() 方法的示例代码,帮助开发者快速修复和更新扩展,使其重新适配新版 ChatGPT 网页。 ChatGPT 网页频繁…

    2025年12月20日
    000

发表回复

登录后才能评论
关注微信