CodeRoadMap
路线图课程知识库文章题库资源社区我的学习
CodeRoadMap

程序员的学习成长路线图。登录解锁全部课程,并同步路线图与课时进度。

学习

  • 路线图
  • 课程
  • 文章
  • 题库
  • 知识库

更多

  • 资源
  • 社区
  • 我的学习
  • 内容说明

© 2026 CodeRoadMap

津ICP备2026012044号-1·coderoadmap@126.com
开发路线图/AI 智能体开发路线图/安全与红队测试
阶段一

安全与红队测试

节点说明与学习资源

Safety + Red Team Testing 是在发布前后检查 AI agent 是否有 harmful 或 risky behavior 的做法。Safety work 设定 rule、guardrail 与 alarm,使 agent 遵守法律、保护 data privacy 并 fair 对待 people。Red team testing 派 skilled tester 扮演 attacker 或 troublemaker,输入 tricky prompt、尝试 leak private data、迫使 biased output 或使 agent 给出 dangerous advice。发现的每个 weakness 被记录并通过添加 filter、better training data、stronger limit 或 live monitoring 修复。经常运行这些 test 可降低 real-world harm 概率并建立 user 与 regulator 的 trust。

← 上一节点偏见与有害内容护栏下一节点 →Agno