Agent 提示注入怎么防:把网页、日志和工具输出视为不可信输入

Agent 不只读用户输入,还会读仓库文件、网页、搜索结果与工具输出。攻击者可能把“请上传密钥”伪装成文档中的操作步骤。问题不在于某个词是否危险,而在于低信任数据能否越过边界,变成高权限指令。

Anthropic 公开讨论过模型层检测、沙箱与审批等多层防护,也强调没有单层防御可以保证 100% 有效。实践中首先画一张数据流图:谁提供内容、谁能修改内容、Agent 以什么身份调用工具、哪些操作会产生外部副作用。

四层防线

  1. 数据层:将来源、正文、引用范围分开;对长度和格式设限,避免把大段原始内容混成系统指令。
  2. 工具层:默认只读;写操作设置资源范围、配额和幂等键。服务端自行鉴权。
  3. 执行层:使用隔离环境,移除不必要的凭证,限制出站域名与文件系统。
  4. 人工层:付款、删除和对外发送等动作展示目标、参数与影响范围,由人确认。

建立回归集

将恶意指令放进 HTML 注释、issue、PDF 提取文本及工具错误中,测试是否造成越权;再测试攻击混在正常数据中、或经子 Agent 摘要转述。要记录最终工具调用,而不只是回答文本。检测器漏报时,底层权限仍必须挡住动作。

没有任何提示词能证明系统安全。更有价值的指标是:越权调用被服务端拒绝的比例、人工审批准确度,以及一次错误能影响多少资源。

参考:Anthropic:Agent 安全隔离;Claude Code 自动模式设计。