Agent系统具备执行操作,其中包括读写文件,查改数据库,调用外部API,执行代码等,一旦安全性无法保证,就直接造成财产损失。

4类核心风险

Agent系统主要面对4类核心风险:

  1. Prompt注入

  2. 工具滥用

  3. 数据泄露

  4. 过度自主性

防御架构

  1. 输入过滤

  2. 工具调用

  3. 输出审核