LLM（大语言模型）是经过海量数据集训练的高级 AI 模型，能够理解和生成类似人类的文本。它们可以执行广泛的自然语言处理任务，如文本生成、翻译、摘要和问答。LLM 作为复杂的预测引擎，按顺序处理文本，基于前序 token 之间的关系以及训练数据中的模式来预测下一个 token。它们不直接预测单个 token，而是为可能的下一 token 生成概率分布，随后通过温度（temperature）和 top-K 等参数进行采样。模型会将预测出的 token 不断添加到序列中，迭代地构建响应。这种逐 token 预测过程，结合庞大的训练数据集，使 LLM 能够跨多种应用和领域生成连贯且上下文相关的文本。