讯享网

 <p class="f_center"><img src="http://dingyue.ws.126.net/2024/1101/db8a8459g00sm9nvg05c5d200hs005sg00hs005s.gif"/><br/></p><p><br/>作者：Atone，混元安全防守团队成员<br/></p><p><blockquote id="34TFMUG3">随着大模型应用的逐步发展，出现了一种新型的攻击手法，它的隐蔽性强且难以检测。本文将探讨如何有效检测此类攻击，并在实际战场中的有所成效。</blockquote>一、新的安全战场</p><p id="34TFMUCL">由于大模型独有的对话业务特性：通过大量的数据训练，学会了从用户输入的 Prompt 中理解和生成语言。恶意 Prompt 攻击正在成为新的安全威胁战场。</p><p id="34TFMUCM">攻击者可以通过精心设计的恶意 Prompt 来操纵模型行为，进而诱导模型调用插件产生错误的输出、执行恶意命令或泄露各类敏感信息，这种恶意 Prompt 攻击的隐蔽性极强，且通过传统的安全检测能力难以察觉。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2Fc8j00sm9nvh004cd200u000dmg00it008j.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34TFMUCO">（图1：大模型时代下面临的安全威胁分类）</p><p id="34TFMUCQ">以下简单列举几个典型案例，由恶意 Prompt 攻击引发的大模型安全事件：</p><p>1.1 借助大模型“黑掉”你的电脑</p><p id="34TFMUCS">近期，某海外大厂发布了前沿大模型的新功能 —— “Computer Use“ ，这是一个可以让大模型控制计算机的神奇能力。它通过截取屏幕截图来做出决策，可以运行 bash 命令、控制鼠标键盘等操作，听起来很神奇吧？但同时也带来了很大的安全隐患，那就是恶意 Prompt 攻击。</p><p id="34TFMUCT">只需要准备好三样东西就可以黑掉你的电脑。接下来我们来看一下黑客是如何借助大模型实现的：</p><p id="34TFMUCV">1、 准备好 C2 Server（黑客控制的服务器）、恶意文件、下载页面（让大模型下载木马文件）；</p><p id="34TFMUD0">2、 诱导大模型模仿正常用户，点击下载恶意文件；</p><p id="34TFMUD1">3、 利用大模型查找、修改权限以运行恶意文件；</p><p id="34TFMUD2">4、 用户电脑在大模型的帮助下成功“上线”（被黑客获取机器权限）。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2Faj00sm9nvi0059d200u000fig00it009p.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34TFMUD5">（图2：绕过某大模型产品的应用层限制，诱导模型下载恶意文件）</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F28f276a9j00sm9nvj003od200u0009ug00it0065.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F3ec46f3aj00sm9nvk007pd200u000lwg00it00dp.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34TFMUDB">（图4：大模型在本地查找并运行恶意文件）</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2Fa962e895j00sm9nvk009pd200u000idg00it00bi.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34TFMUDE">（图5：用户电脑被黑客远程控制并查看目录）</p><p>1.2 “唾手可得”服务器权限</p><p id="34TFMUDG">黑客通过 Prompt 注入 + 代码变形 + 字符串编码拼接等攻击手法组合利用，成功绕过应用层的限制，从而让大模型应用在后端容器中执行任意代码或者命令，拿到对应服务器权限。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F423bca84j00sm9nvl005bd200u000kng00it00cx.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34TFMUDI">（图6：绕过某大模型产品的对话层限制，成功执行系统命令）</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F0fdd5e16j00sm9nvm00d2d200u000vmg00g200gx.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34TFMUDL">（图7：利用某大模型产品工作流，成功获取云服务凭证）</p><p>1.3 “手到擒来” 用户隐私数据</p><p id="34TFMUDN">黑客通过散布含有恶意配置的钓鱼 URL 或文件，利用大模型的长期记忆（Memory Update）功能漏洞，植入虚假记忆或恶意指令。用户在对话中触发这些链接或文件后，其对话内容会被恶意配置，导致后续对话记录被拼接成 Markdown 图片链接泄露到外部URL，从而实现对用户隐私的窃取。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F79b5a3abj00sm9nvn007hd200u000ffg00it009n.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34TFMUDP">（图8：某大模型产品泄露用户对话数据）</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F1c84377bj00sm9nvp00ipd200u000y6g00it00lf.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34TFMUDS">（图9：某大模型产品泄露用户对话数据）</p><p>二、新战场的布防 2.1 大模型方案的优势</p><p id="34TFMUDU">传统Web应用防火墙（WAF）因其局限性，无法理解自然语义的目的，导致真实攻击事件频频漏检，难以应对新型威胁，比如恶意用户在进行攻击测试，由于 Prompt 的内容未命中WAF正则关键词，导致该攻击被识别成正常请求，未被拦截。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F77c2e408j00sm9nvp0019d200u00085g00it0053.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34TFMUE0">（ 图10：真实攻击漏报事件）</p><p id="34TFMUE2">基于行业内三种通用解决方案进行不同方案优劣势进行对比， 发现在检测外部恶意 Prompt 攻击场景下，大模型在泛化能力、检出效果、维护成本上均优于另外两个方案，详细情况如下表：</p><p id="34TFMUE3">可选方案</p><p id="34TFMUE4">基于大语言模型</p><p id="34TFMUE5">基于传统机器学习引擎</p><p id="34TFMUE6">基于正则引擎</p><p id="34TFMUE7">方案说明</p><p id="34TFMUE8">基于大模型海量知识底座，利用Prompt调优进行恶意攻击场景泛化识别。</p><p id="34TFMUE9">利用机器学习算法对大量的正常和恶意流量进行分析，从而自动学习并识别恶意流量模式，然后对流量进行分类和阻止。</p><p id="34TFMUEA">基于专家经验针对各种攻击类型提炼的特征编写正则，对流量进行正则特征匹配检测。</p><p id="34TFMUEB">方案优点</p><p id="34TFMUEC">维护成本低</p><p id="34TFMUED">有安全知识基础</p><p id="34TFMUEE">场景泛化能力极强</p><p id="34TFMUEF">无需规则维护</p><p id="34TFMUEG">能够自我学习，一定程度可以应对未知威胁</p><p id="34TFMUEH">开发成本较低</p><p id="34TFMUEI">方案缺点</p><p id="34TFMUEJ">偶尔存在模型幻觉、分析结论不稳定情况</p><p id="34TFMUEK">对数据量和质量要求较高，不同攻击类型需要单独训练，泛化能力较差，误报率较高</p><p id="34TFMUEL">正则维护繁琐，且检测模式单一，无法应对未知威胁</p><p id="34TFMUEM">检测效果</p><p id="34TFMUEN">维护效率</p><p id="34TFMUEO">泛化能力</p><p id="34TFMUEP">⭐️⭐️⭐️⭐️</p><p id="34TFMUEQ">⭐️⭐️⭐️⭐️</p><p id="34TFMUER">⭐️⭐️⭐️⭐️⭐️</p><p id="34TFMUES">⭐️⭐️</p><p id="34TFMUET">⭐️⭐️</p><p id="34TFMUEU">⭐️⭐️</p><p id="34TFMUF0">⭐️⭐️</p><p><br/>2.2 大模型 Cosplay 派对侦探</p><p id="34TFMUF2">通过聚类分析恶意攻击样本和拦截日志，发现恶意 Prompt 攻击的核心场景在于：如何深入分析提问者的提问实际场景与提问意图。而大模型在这个分析场景下存在天然的优势（超强推理能力、语言理解能力），当仁不让的成为了安全运营分析的**助手。</p><p id="34TFMUF3">借鉴过往经验设计了一个更有性价比的流程。想象一下，在一个派对上，你要辨别哪些宾客可能是不受欢迎的捣蛋鬼，那么的流程如下：</p><p id="34TFMUF5">1）首先，用一份“不受欢迎名单”筛选出可疑人物，初步过滤掉正常行为的来宾。（恶意攻击特征初筛）</p><p id="34TFMUF6">2）接着你请来一位侦探朋友，他凭借出色的观察力和理解力，进一步识别出潜在的麻烦制造者。（大模型检测）</p><p id="34TFMUF7">3）最后，只有侦探依然怀疑是捣蛋鬼的宾客，才需要你亲自处理。（人工研判处置）</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2Fb41b196fj00sm9nvq001ad200r200d8g00it0096.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34TFMUF9">（图11：恶意 Prompt 检测分析流程）</p><p id="34TFMUFB">这个过程就像一个漏斗，逐步筛选出捣蛋鬼。但有时侦探也会粗心大意，所以你会使用一些策略和行为标签来提高他的准确性，确保派对顺利且尽可能少的出问题。</p><p id="34TFMUFC">同样的，也可以通过黑白样本多维度验证，结合提示词工程（Prompt Engineering）以及通用攻击子场景归类拆分，以帮助这位侦探更好地识别出恶意的捣蛋鬼。具体包括：</p><p id="34TFMUFE">1）通用攻击场景拆分：根据现网样本日志，划分六大类场景，细化 30+ 攻击子场景，让大模型利用其语义理解能力和网络安全知识储备，快速判断用户行为并根据场景归类打标。</p><p id="34TFMUFG">2）Prompt Engineering：通过构造 Prompt 来引导大模型如何进行打标和分类。若发现大模型识别错误、子场景描述模糊或是不准确的情况，通过对大模型的回答内容的分析，反哺运营同学对子场景精细化定义与阐释，闭环场景分类的优化。</p><p id="34TFMUFH">除此之外，为应对复杂 Prompt 的人工审核漏判/误判问题，引入大模型辅助安全运营，自主识别并提供解释，配合人工快速复核。同时，利用企业微信机器人来推送恶意 Prompt 至群内，便于运营人员迅速研判和处理。</p><p><br/>2.3 老生常谈的沙箱加固</p><p id="34TFMUFI">随着各种功能丰富的插件以及工作流的引入，一种常见的攻击方式是通过恶意 Prompt 来调用大模型运行恶意代码，通过插件实现服务器入侵，直接威胁到用户数据以及业务敏感文件。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F06ccafa3j00sm9nvr00cvd200u00115g00g200jv.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34TFMUFK">（ 图12：某大模型产品遭受 Prompt 攻击泄露内部云账号密码）</p><p id="34TFMUFM">因此，除了前端恶意 Prompt 的检测，后端的组件加固也十分重要。通过容器加固后，能实现网络、多用户隔离及容器逃逸防护，确保用户代码执行环境与业务环境完全隔离，实现较为安全的代码执行环境。</p><p>三、总结</p><p id="34TFMUFO">恶意 Prompt 攻击仅仅是大模型时代安全挑战的冰山一角。安全从业人员面临的不仅是技术难题，更是一场持久的安全攻防战。</p><p id="34TFMUFP">安全不是一蹴而就的工程，而是一个需要持续投入、不断更新的过程。我们要正视当前的挑战，同时也要未雨绸缪，为未来可能出现的新型威胁做好准备。</p><p id="34TFMUFQ">这条安全之路没有终点，期待与诸位同僚一起，不断前行。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F6552bcd5j00sm9nvs000nd200u0009pg00it0062.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p>