神经网络简介：多层感知机

在上一节中，你学习了最简单的神经网络模型——单层感知机，这是一种线性二分类模型。

在本节中，我们将扩展这一模型，构建一个更灵活的框架，使我们能够：

• 除了二分类，还能进行多分类
• 除了分类问题，还能解决回归问题
• 区分那些非线性可分的类别

我们还将开发一个基于 Python 的模块化框架，用于构建不同的神经网络架构。

课前测验

机器学习的形式化定义

让我们从形式化定义机器学习问题开始。假设我们有一个训练数据集 X 和对应的标签 Y，我们需要构建一个模型 f，以实现最准确的预测。预测的质量通过损失函数 ℒ 来衡量。以下是常用的损失函数：

• 对于回归问题（需要预测一个数值），可以使用绝对误差 ∑_i|f(x⁽ⁱ⁾)-y⁽ⁱ⁾|，或平方误差 ∑_i(f(x⁽ⁱ⁾)-y⁽ⁱ⁾)²
• 对于分类问题，可以使用0-1损失（本质上等同于模型的准确率），或对数损失。

对于单层感知机，函数 f 定义为线性函数 f(x)=wx+b（其中 w 是权重矩阵，x 是输入特征向量，b 是偏置向量）。对于不同的神经网络架构，这个函数可以具有更复杂的形式。

在分类问题中，通常希望网络输出的是类别的概率。为了将任意数值转换为概率（例如对输出进行归一化），我们通常使用softmax 函数 σ，此时函数 f 变为 f(x)=σ(wx+b)。

在上述 f 的定义中，w 和 b 被称为参数 θ=⟨w,b⟩。给定数据集 ⟨X,Y⟩，我们可以将整个数据集上的总误差表示为参数 θ 的函数。

✅ 神经网络训练的目标是通过调整参数 θ 来最小化误差

梯度下降优化

梯度下降是一种著名的函数优化方法。其核心思想是，我们可以计算损失函数相对于参数的导数（在多维情况下称为），并调整参数以减少误差。其形式化过程如下：