预训练大型语言模型

在我们之前的所有任务中，我们都使用带标签的数据集训练神经网络来完成特定任务。而对于像 BERT 这样的大型 Transformer 模型，我们通过自监督的方式进行语言建模来构建语言模型，然后通过进一步的领域特定训练使其专注于特定的下游任务。然而，研究表明，大型语言模型也可以在没有任何领域特定训练的情况下解决许多任务。这类能够实现这一目标的模型家族被称为 GPT：生成式预训练 Transformer。

课前测验

文本生成与困惑度

神经网络能够在没有下游训练的情况下完成通用任务的理念在论文 Language Models are Unsupervised Multitask Learners 中提出。其核心思想是许多其他任务可以通过 文本生成 来建模，因为理解文本本质上意味着能够生成文本。由于模型在包含人类知识的大量文本上进行了训练，它也因此对广泛的主题有了深入的了解。

理解并能够生成文本也意味着对周围世界有所了解。人类在很大程度上也是通过阅读来学习的，而 GPT 网络在这方面与人类类似。

文本生成网络通过预测下一个词的概率 $$P(w_N)$$ 来工作。然而，下一个词的无条件概率等于该词在文本语料库中的出现频率。GPT 能够提供下一个词的 条件概率，即基于前面的词：$$P(w_N | w_{n-1}, ..., w_0)$$

您可以在我们的 数据科学初学者课程 中了解更多关于概率的内容。

语言生成模型的质量可以通过 困惑度 来定义。这是一种内在指标，可以在没有任何任务特定数据集的情况下衡量模型质量。它基于 句子的概率 的概念——模型对可能是真实的句子赋予高概率（即模型对其不 困惑），而对不太合理的句子（例如 Can it does what?）赋予低概率。当我们给模型提供真实文本语料库中的句子时，我们希望它们具有高概率和低 困惑度。数学上，困惑度定义为测试集的归一化逆概率： $$ \mathrm{Perplexity}(W) = \sqrt[N]{1\over P(W_1,...,W_N)} $$

您可以使用 Hugging Face 的 GPT 驱动文本编辑器 进行文本生成实验。在这个编辑器中，您开始编写文本，按下 [TAB] 键后会提供几个补全选项。如果选项太短或您不满意，可以再次按下 [TAB] 键，您将获得更多选项，包括更长的文本片段。