引用 海赛(Hesse)矩阵
microfisher 的 海赛(Hesse)矩阵
海色矩阵
在数学中,海色矩阵是一个自变量为向量的实值函数的二阶偏导数组
成的方块矩阵,此函数如下:
如果 f 所有的二阶导数都存在,那么 f 的海色矩阵即:
H(f)ij(x) = DiDjf(x)
其中
,即
(也有人把海色定义为以上矩阵的行列式) 海色矩阵被应用于
牛顿法解决的大规模优化问题。
混合偏导数和海色矩阵的对称性
海色矩阵的混合偏导数是海色矩阵主对角线上的元素。假如他们
是连续的,那么求导顺序没有区别,即
上式也可写为
在正式写法中,如果 f 函数在区域 D 内连续并处处存在二阶导数,
那么 f 的海色矩阵在 D 区域内为对称矩阵。
在 R^2→R 的函数的应用
给定二阶导数连续的函数
,海色矩阵的行列式,可用
于分辨 f 的临界点是属于鞍点还是极值。
对于 f 的临界点(x0,y0)一点,有
,
然而凭一阶导数不能判断它是鞍点、局部极大点还是局部极小点。海
色矩阵可能解答这个问题。
H > 0 :若
,则(x0,y0)是局部极小点;若
,
则(x0,y0)是局部极大点。
H < 0 :(x0,y0)是鞍点。
H = 0 :二阶导数无法判断该临界点的性质,得从更高阶
的导数以泰勒公式考虑。
Hessian 矩阵是多维变量函数的二阶偏导数矩阵,H
(i,j)=d^2(f)/(d(xi)d(xj))
它是对称的。如果是正定的的可用导数=0 的变量组确定它的极小值,
负定的确定它的极大值,否则无法确定极值。
1.极值(极大值或极小值)的定义
设有定义在区域 D Rn 上的函数 y=f(x)=f(x1,...,xn) . 对于区域 D 的
一内点 x0=(x10,...,xn0),若存在 x0 的一个邻域 UD,使得
f(x)≤f(x0)
x∈U
则称 x0 是 f(x)的极大点,f(x0)称为 f(x)的极大值.
相反,如
f(x)≥f(x0)
x∈U
则称 x0 是 f(x)的极小点,f(x0)称为 f(x)的极小值.
2.海赛(Hessian)矩阵
设函数 y=f(x)=f(x1,...,xn)在点 x0=(x10,...,xn0)的一个邻域内所有
二阶偏导数连续,则称下列矩阵 H 为 f(x)在 x0 点的海赛矩阵.
显然海赛矩阵是对称的,从而它的所有特征根均为实数.
3.极值存在的必要条件
若 x0 是 f(x)的极值点,如果存在,则
进一步设在一个邻域内所有二阶导数连续,H 为在点 x0 的海赛
矩阵.则
(1)x0 是 f(x)的极小点 H≥0,即 H 的特征根均为非负.
(2)x0 是 f(x)的极大点 H≤0,即 H 的特征根为非正.
若在 x0 点有,则称 x0 是 f(x)的临界点,f(x0)为临界值.
4.极值存在的充分条件
设 f(x)在 x0 的一个邻域内所有二阶偏导数连续,且 x0 是 f(x)的临
界点(即),H 为 f(x)在 x0 点的海赛矩阵,则
(1)H>0,即 H 为正定矩阵 x0 是 f(x)的极小点.
(2)H<0,即 H 为负定矩阵 x0 是 f(x)的极大点.
(3)H 的特征根有正有负 x0 不是 f(x)的极值点.
(4)其余情况,则不能判定 x0 是或者不是 f(x)的极值点.
5.二元函数极值存在的充分条件
作为 4 的特例。观察二元函数极值存在的充分条件.
设 z=f(x,y)在(x0,y0)的一个邻域内所有二阶偏导数连续, 且,
记 .
那么,海赛矩阵.
(1)若 A>0,detH=AC-B2>0,则 H 正定,从而(x0,y0)是 f(x,y)
的极小点.
(2)若 A<0,detH=AC-B2>0,则 H 负定,从而(x0,y0)是 f(x,y)
的极大点.
(3)若 detH=AC-B2<0,则 H 的特征根有正有负,从而(x0,y0)
不是 f(x,y)的极值点.
(4)若 detH=AC-B2=0,则不能判定(x0,y0)是否为 f(x,y)的极值点.
6.条件极值
求函数
(1),
y=f(x)=f(x1,...,xn)
x∈DRn
在约束条件:qk(x)=qk(x1,...,xn)=0,k=1,...,m,m
下的极值,称为条件极值问题.
此处,假设雅可比矩阵的秩在 D 内处处为 m,即保证 m 个约束
条件是独立的.
直接代入法
从约束条件(2)中直接解出 m 个变量,代入到(1)中,将问
题化为求 n-m 个变量函数的直接极值问题.
拉格朗日(Lagrange)乘数法
引入拉格朗日函数:
(3)
其中λ1,...,λm 称为拉格朗日乘子,是待定常数.
条件极值问题(1)和(2)可化为求拉格朗日函数(3)的直
接极值问题.
(1) 若 x0 为(1)和(2)的条件极值点,则 x0 满足方程组
满足上述方程组的点称为条件极值问题的临界点.显然极值
点为临界点,而临界点未必一定是极值点.
(2)若 x0 是临界点, HL 为拉格朗日函数 L 在 x0 点的海赛矩阵,
则可按 4 中给出的极值存在的充分条件,由 HL 的正定、负定或不定,
判断 x0 是极小点、极大点或不是极值点.