Agent 与 LLM 基础
Transformer、Token、Context Window；衔接 ai-agents-essentials。
30 分钟
Agent 与 LLM 基础
本课补全 模型侧原理：Agent 不是「更聪明的 Chat」，而是 在有限上下文里做序列预测、再被你的运行时接上工具环。若你已学完 ai-agents-essentials 的循环与函数调用，这里解释 为什么 会幻觉、为什么会丢长对话——对应 ai-agents 路线图 的 LLM 基础节点。
学习目标
- 用非公式语言说清 Transformer、Token、Context Window
- 理解 Agent 规划受上下文长度与注意力分布约束
- 知道进阶 track 与入门 track 的分工
Transformer 在 Agent 里意味着什么
主流 LLM 基于 Transformer：把整段文本切成 token，自注意力机制让模型 同时「看见」上下文中的多个位置，再预测下一个 token。对 Agent 而言：
| 概念 | 对 Agent 的影响 |
|---|---|
| 自注意力 | 长工具返回、多轮 observation 会占满「注意力预算」 |
| 并行训练 | 模型擅长模式补全，不保证逻辑正确 |
| 无持久状态 | 「记忆」必须靠你写入 messages 或外部存储 |
关键：模型 不会 自动记住上次会话；Agent 的「状态」= 你维护的 messages + 外部记忆。
Token 与成本
# 伪代码：估算一次 Agent 轮次的 token
tokens = count(system_prompt) + count(tools_schema) + sum(count(m) for m in history)
if tokens > context_limit * 0.8:
history = compress_or_summarize(history) # 见 aga-memory
- 中英文、代码、JSON 的 token 密度不同；工具 schema 也计费
- 规划失败有时不是「模型笨」，而是 关键 observation 被挤到窗口外
Context Window（上下文窗口）
Context Window = 单次请求能容纳的最大 token 数。Agent 常见占用：
system + tools 定义 + 用户目标 + N 轮 (thought / tool_call / tool_result) + 最终回答
| 策略 | 适用 |
|---|---|
| 截断最旧轮次 | 短任务、工具返回小 |
| 摘要压缩 | 长调研、多文件读取 |
| 外部 RAG | 大知识库不进全量 prompt |
与 agt-intro 衔接：观察环节写回的 JSON 越大，下一轮规划越贵、越易偏题。
与入门 track 的分工
| ai-agents-essentials | 本课及后续 |
|---|---|
| Agent 循环、怎么接工具 | 模型如何读上下文、参数如何影响推理 |