神经网络框架
正如我们已经学习到的，为了高效地训练神经网络，我们需要做到以下两点：
- 操作张量，例如进行乘法、加法，以及计算一些函数如 sigmoid 或 softmax。
- 计算所有表达式的梯度，以便执行梯度下降优化。
课前测验
虽然 numpy 库可以完成第一部分，但我们还需要某种机制来计算梯度。在我们之前开发的框架中，我们必须手动在 backward 方法中编写所有的导数函数来实现反向传播。理想情况下，一个框架应该能够让我们计算任何表达式的梯度。
另一个重要的事情是能够在 GPU 或其他专用计算单元（如 TPU）上进行计算。深度神经网络的训练需要大量的计算，因此能够在 GPU 上并行化这些计算非常重要。
✅ “并行化”一词指的是将计算分配到多个设备上。
目前最流行的两个神经网络框架是：TensorFlow 和 PyTorch。它们都提供了一个低级 API，用于在 CPU 和 GPU 上操作张量。在低级 API 之上，还有高级 API，分别是 Keras 和 PyTorch Lightning。
| 低级 API | TensorFlow | PyTorch |
|---|---|---|
| 高级 API | Keras | PyTorch Lightning |
低级 API 允许你构建所谓的计算图。这个图定义了如何通过给定的输入参数计算输出（通常是损失函数），并且可以在 GPU 上运行计算（如果可用）。这些框架提供了对计算图进行微分以计算梯度的功能，这些梯度可以用于优化模型参数。
高级 API 将神经网络视为层的序列，使得构建大多数神经网络变得更加简单。训练模型通常只需要准备数据，然后调用一个 fit 函数即可完成。
高级 API 允许你快速构建典型的神经网络，而无需担心许多细节。同时，低级 API 提供了对训练过程的更多控制，因此在研究新型神经网络架构时经常使用。
需要注意的是，你可以同时使用这两种 API。例如，你可以使用低级 API 开发自己的网络层架构，然后将其嵌入到使用高级 API 构建和训练的更大网络中。或者，你可以使用高级 API 将网络定义为层的序列，然后使用自己的低级训练循环进行优化。这两种 API 使用相同的基本概念，并且设计为能够很好地协同工作。
学习
在本课程中，我们为 PyTorch 和 TensorFlow 提供了大部分内容。你可以选择自己喜欢的框架，只学习对应的笔记本。如果你不确定选择哪个框架，可以在网上查阅一些关于 PyTorch vs. TensorFlow 的讨论。你也可以同时了解这两个框架以获得更好的理解。
在可能的情况下，我们会为了简化使用高级 API。然而，我们认为从基础上理解神经网络的工作原理非常重要，因此在开始时我们会从低级 API 和张量操作入手。不过，如果你想快速入门，不想花太多时间学习这些细节，可以直接跳到高级 API 的笔记本。
✍️ 练习：框架
通过以下笔记本继续学习：
| 低级 API | TensorFlow+Keras 笔记本 | PyTorch |
|---|---|---|
| 高级 API | Keras | PyTorch Lightning |
掌握这些框架后，我们将回顾过拟合的概念。
过拟合
过拟合是机器学习中一个极其重要的概念，理解它至关重要！
考虑以下拟合 5 个点的问题（图中的 x 表示点）：
 |  |
|---|---|
| 线性模型，2 个参数 | 非线性模型，7 个参数 |
| 训练误差 = 5.3 | 训练误差 = 0 |
| 验证误差 = 5.1 | 验证误差 = 20 |
- 左图展示了一个良好的直线拟合。由于参数数量适当，模型正确捕捉了点的分布规律。
- 右图中，模型过于强大。由于只有 5 个点，而模型有 7 个参数，它可以调整到通过所有点，使得训练误差为 0。然而，这阻止了模型理解数据背后的正确模式，因此验证误差非常高。
在模型的复杂度（参数数量）和训练样本数量之间找到正确的平衡非常重要。
为什么会发生过拟合
- 训练数据不足
- 模型过于强大
- 输入数据中噪声过多
如何检测过拟合
从上图可以看出，过拟合可以通过非常低的训练误差和非常高的验证误差来检测。通常在训练过程中，我们会看到训练误差和验证误差都开始下降，但在某个点之后，验证误差可能停止下降并开始上升。这是过拟合的信号，表明我们可能应该停止训练（或者至少保存模型的快照）。
如何防止过拟合
如果你发现发生了过拟合，可以采取以下措施：
过拟合与偏差-方差权衡
过拟合实际上是统计学中一个更通用问题的特例，称为偏差-方差权衡。如果我们考虑模型中可能的误差来源，可以看到两种类型的误差：
- 偏差误差 是由于算法无法正确捕捉训练数据之间的关系而引起的。这可能是因为模型不够强大（欠拟合）。
- 方差误差 是由于模型拟合了输入数据中的噪声而不是有意义的关系（过拟合）。
在训练过程中，偏差误差会减少（因为模型学会了拟合数据），而方差误差会增加。为了防止过拟合，重要的是在适当的时候停止训练——可以手动（当我们检测到过拟合时）或自动（通过引入正则化）。
总结
在本课中，你学习了两个最流行的 AI 框架 TensorFlow 和 PyTorch 的不同 API。此外，你还学习了一个非常重要的话题——过拟合。
? 挑战
在配套的笔记本中，你会发现底部有“任务”；完成这些笔记本并完成任务。
课后测验
复习与自学
研究以下主题：
- TensorFlow
- PyTorch
- 过拟合
问自己以下问题：
- TensorFlow 和 PyTorch 有什么区别？
- 过拟合和欠拟合有什么区别？
作业
在本实验中，你需要使用 PyTorch 或 TensorFlow 解决两个分类问题，分别使用单层和多层全连接网络。