4.3 二次和线性函数的梯度和海森矩阵 现在我们来尝试确定几个简单函数的梯度和 Hessian 矩阵。应该注意的是，这里提供的所 有梯度都是 CS229 讲义中给出的梯度的特殊情况。 对任意 x ∈ Rn，令 f(x) = bT x ，其中 b ∈ Rn 是某个已知向量。 那么 所以 . 从这里我们可以很容易地看到∇xbT x = b。这应该与单变量计算中的类似情况进行比较，其 中∂/(∂x) ax = a 。 现在考虑二次函数 f(x) = xT Ax for A ∈ Sn。回忆一下 . 要求偏导数，我们将分开考虑 xk 和 x2k 项：

个人用英文详细推导证明了“海森矩阵正定是多元函数具有极小值的充要条件”，从一阶导数开始分析，推广至n阶多元函数，利用了泰勒展开定理。