梯度、雅可比矩阵与黑塞矩阵

梯度、雅可比矩阵和黑塞矩阵是来自微积分的基本工具，用于分析和优化函数，尤其在机器学习中尤为重要。多变量标量值函数的梯度是一个向量，包含各个变量的偏导数，指示了最陡上升的方向。雅可比矩阵将梯度推广到多变量的向量值函数，包含每个输出分量对每个输入变量的所有偏导数。黑塞矩阵则是标量值函数的二阶偏导数构成的方阵，提供了关于函数局部曲率的信息。