随着企业把AI代理从测试环境推向真实业务流程,攻击面也随之从“模型本身”扩展到“代理行动链”。近日,微软汇整了过去12个月对已部署代理式系统进行红队测试的经验,并把《代理式AI系统失效模式分类》更新到2.0版本,新增了7类“代理可能失败”的模式,提醒组织:别只盯着提示词或单点漏洞,要把代理系统当成可被操控的运行体来评估。
微软特别强调:当AI代理在生产数据(production data)上执行任务,或会调用外部接口时,至少要把4类新兴风险纳入必测范围。第一是“目标劫持”。攻击者会伪装成符合正常流程的指令,让代理看似在完成合法任务,实则悄悄改变最终目标,最终造成偏离预期的输出或行动。
第二是“计算机使用代理(CUA)的视觉攻击”。这类攻击不靠传统文本注入,而是利用人眼难以察觉的内容,例如超小字体、窗外隐藏的界面元素,或图片中的提示注入,从而干扰代理对界面、状态与意图的判断。
第三是“工作阶段上下文污染”。攻击者会在多步骤任务的早期环节提前埋入数据,使得后续推理被持续污染;单步看通常不会触发安全控制,但连贯执行后就可能引发偏航。
第四是“能力与架构揭露”。攻击者可能通过让系统泄露工具名称、系统提示结构、记忆接口,或触发人工介入(HitL)的逻辑路径,逐步把原本像黑箱一样的机制“拆出来”,再据此走更精准的攻击路径。
在缓解方面,微软建议企业借鉴软件供应链管理做法:为AI代理建立“软件物料清单(SBOM)”。不仅要盘点代理会用到的插件、MCP服务器、提示模板、工具描述与代码依赖,还要把那些可能影响代理决策与行为的自然语言工具说明纳入版本控制、变更追踪与安全审查流程。简单说:让代理的“零件与配方”可追溯,风险才好被管住。