分块

检索增强生成（RAG）中的分块步骤涉及将大型文档或数据源分解为更小、易于管理的块。这样做是为了确保检索器能够高效地搜索大量数据，同时保持在模型的标记或输入限制内。每个块通常是一个段落或章节，被转换为嵌入向量，然后这些嵌入向量存储在向量数据库中。当进行查询时，检索器搜索最相关的块而不是整个文档，从而实现更快、更准确的检索。