上下文窗口

上下文窗口是 LLM 在单个请求中可以处理的文本量，以 token 为单位衡量。它包括系统提示、对话历史记录、检索到的文档以及模型在生成响应时自己的输出。一旦总内容超过此限制，较旧或较低优先级的信息必须被丢弃、总结或移出活动上下文。近年来，模型提供者显著扩展了上下文窗口，但更大的窗口并不保证模型能很好地使用所有内容。