上下文安全

上下文安全涵盖了将外部或不信任的内容输入 AI 系统所带来的风险。恶意文档、电子邮件或网页可能包含隐藏指令，旨在操纵模型，这种技术称为提示注入（prompt injection）。不良的访问控制还可能允许模型向不应查看的用户显示数据，或让敏感信息通过工具调用和日志泄露。构建安全的上下文管道意味着验证来源、在数据到达模型之前应用权限检查，并将检索到的内容视为数据而非可信指令。