logo资料库

hessian矩阵.doc

第1页 / 共8页
第2页 / 共8页
第3页 / 共8页
第4页 / 共8页
第5页 / 共8页
第6页 / 共8页
第7页 / 共8页
第8页 / 共8页
资料共8页,全文预览结束
引用 海赛(Hesse)矩阵
引用 海赛(Hesse)矩阵 microfisher 的 海赛(Hesse)矩阵 海色矩阵 在数学中,海色矩阵是一个自变量为向量的实值函数的二阶偏导数组 成的方块矩阵,此函数如下: 如果 f 所有的二阶导数都存在,那么 f 的海色矩阵即: H(f)ij(x) = DiDjf(x) 其中 ,即 (也有人把海色定义为以上矩阵的行列式) 海色矩阵被应用于 牛顿法解决的大规模优化问题。 混合偏导数和海色矩阵的对称性 海色矩阵的混合偏导数是海色矩阵主对角线上的元素。假如他们 是连续的,那么求导顺序没有区别,即
上式也可写为 在正式写法中,如果 f 函数在区域 D 内连续并处处存在二阶导数, 那么 f 的海色矩阵在 D 区域内为对称矩阵。 在 R^2→R 的函数的应用 给定二阶导数连续的函数 ,海色矩阵的行列式,可用 于分辨 f 的临界点是属于鞍点还是极值。 对于 f 的临界点(x0,y0)一点,有 , 然而凭一阶导数不能判断它是鞍点、局部极大点还是局部极小点。海 色矩阵可能解答这个问题。  H > 0 :若 ,则(x0,y0)是局部极小点;若 , 则(x0,y0)是局部极大点。  H < 0 :(x0,y0)是鞍点。  H = 0 :二阶导数无法判断该临界点的性质,得从更高阶 的导数以泰勒公式考虑。
Hessian 矩阵是多维变量函数的二阶偏导数矩阵,H (i,j)=d^2(f)/(d(xi)d(xj)) 它是对称的。如果是正定的的可用导数=0 的变量组确定它的极小值, 负定的确定它的极大值,否则无法确定极值。 1.极值(极大值或极小值)的定义 设有定义在区域 D Rn 上的函数 y=f(x)=f(x1,...,xn) . 对于区域 D 的 一内点 x0=(x10,...,xn0),若存在 x0 的一个邻域 UD,使得 f(x)≤f(x0) x∈U 则称 x0 是 f(x)的极大点,f(x0)称为 f(x)的极大值. 相反,如 f(x)≥f(x0) x∈U
则称 x0 是 f(x)的极小点,f(x0)称为 f(x)的极小值. 2.海赛(Hessian)矩阵 设函数 y=f(x)=f(x1,...,xn)在点 x0=(x10,...,xn0)的一个邻域内所有 二阶偏导数连续,则称下列矩阵 H 为 f(x)在 x0 点的海赛矩阵. 显然海赛矩阵是对称的,从而它的所有特征根均为实数. 3.极值存在的必要条件 若 x0 是 f(x)的极值点,如果存在,则 进一步设在一个邻域内所有二阶导数连续,H 为在点 x0 的海赛 矩阵.则 (1)x0 是 f(x)的极小点 H≥0,即 H 的特征根均为非负. (2)x0 是 f(x)的极大点 H≤0,即 H 的特征根为非正.
若在 x0 点有,则称 x0 是 f(x)的临界点,f(x0)为临界值. 4.极值存在的充分条件 设 f(x)在 x0 的一个邻域内所有二阶偏导数连续,且 x0 是 f(x)的临 界点(即),H 为 f(x)在 x0 点的海赛矩阵,则 (1)H>0,即 H 为正定矩阵 x0 是 f(x)的极小点. (2)H<0,即 H 为负定矩阵 x0 是 f(x)的极大点. (3)H 的特征根有正有负 x0 不是 f(x)的极值点. (4)其余情况,则不能判定 x0 是或者不是 f(x)的极值点. 5.二元函数极值存在的充分条件 作为 4 的特例。观察二元函数极值存在的充分条件. 设 z=f(x,y)在(x0,y0)的一个邻域内所有二阶偏导数连续, 且,
记 . 那么,海赛矩阵. (1)若 A>0,detH=AC-B2>0,则 H 正定,从而(x0,y0)是 f(x,y) 的极小点. (2)若 A<0,detH=AC-B2>0,则 H 负定,从而(x0,y0)是 f(x,y) 的极大点. (3)若 detH=AC-B2<0,则 H 的特征根有正有负,从而(x0,y0) 不是 f(x,y)的极值点. (4)若 detH=AC-B2=0,则不能判定(x0,y0)是否为 f(x,y)的极值点. 6.条件极值 求函数 (1), y=f(x)=f(x1,...,xn) x∈DRn 在约束条件:qk(x)=qk(x1,...,xn)=0,k=1,...,m,m
下的极值,称为条件极值问题. 此处,假设雅可比矩阵的秩在 D 内处处为 m,即保证 m 个约束 条件是独立的. 直接代入法 从约束条件(2)中直接解出 m 个变量,代入到(1)中,将问 题化为求 n-m 个变量函数的直接极值问题. 拉格朗日(Lagrange)乘数法 引入拉格朗日函数: (3) 其中λ1,...,λm 称为拉格朗日乘子,是待定常数. 条件极值问题(1)和(2)可化为求拉格朗日函数(3)的直 接极值问题.
(1) 若 x0 为(1)和(2)的条件极值点,则 x0 满足方程组 满足上述方程组的点称为条件极值问题的临界点.显然极值 点为临界点,而临界点未必一定是极值点. (2)若 x0 是临界点, HL 为拉格朗日函数 L 在 x0 点的海赛矩阵, 则可按 4 中给出的极值存在的充分条件,由 HL 的正定、负定或不定, 判断 x0 是极小点、极大点或不是极值点.
分享到:
收藏