Agent系统具备执行操作,其中包括读写文件,查改数据库,调用外部API,执行代码等,一旦安全性无法保证,就直接造成财产损失。
4类核心风险

Agent系统主要面对4类核心风险:
Prompt注入
工具滥用
数据泄露
过度自主性
防御架构

输入过滤
工具调用
输出审核
Agent开发:Agent系统的安全性
https://lautung.com/archives/7kKdpUyWAgent系统具备执行操作,其中包括读写文件,查改数据库,调用外部API,执行代码等,一旦安全性无法保证,就直接造成财产损失。

Agent系统主要面对4类核心风险:
Prompt注入
工具滥用
数据泄露
过度自主性

输入过滤
工具调用
输出审核
Agent开发:Agent系统的安全性
https://lautung.com/archives/7kKdpUyW
评论