最优化算法第四章2.pdf

发布时间：2022-06-08 发布人：admin 分类：说明书资料大小：0.15M 资料格式：pdf 举报版权申诉

samirliu-3727879-4744302543454700127.pdf-第1页.png

第1页 / 共24页

samirliu-3727879-4744302543454700127.pdf-第2页.png

第2页 / 共24页

samirliu-3727879-4744302543454700127.pdf-第3页.png

第3页 / 共24页

samirliu-3727879-4744302543454700127.pdf-第4页.png

第4页 / 共24页

samirliu-3727879-4744302543454700127.pdf-第5页.png

第5页 / 共24页

samirliu-3727879-4744302543454700127.pdf-第6页.png

第6页 / 共24页

samirliu-3727879-4744302543454700127.pdf-第7页.png

第7页 / 共24页

samirliu-3727879-4744302543454700127.pdf-第8页.png

第8页 / 共24页

文本预览

§3 共轭梯度法最速下降法：计算步骤简单，但收敛速度较慢；牛顿法和阻尼牛顿法：收敛度快，但计算量及存储量大（每次需计算海森阵及其逆阵）；希望找到一种方法，它兼有这两种方法的优点，又能克服它们缺点。共轭方向法就是这样的一类方法，且具有二次终止性。最典型的共轭方向法是共轭梯度法。 XiDian University

一、共轭方向法及其性质定义 3.1 设 A 为 n 阶对称阵， 1 2 ,d d 为 n 维非零 Ad  （3.1） 0 2 ( Td ) 1 列向量，若则称向量 1 2 ,d d 为 A  正交，或关于 A  共轭。 n ( 0 若 A I ，则（3.1）即为 1 Td ) d  ，这就是通 2 常意义下的正交性，故 A  正交，或 A  共轭是正交概念的推广。定义 3.2 设量，如果 d 是 nR 中的一组非零向 d d , 1 XiDian University , m 2 ,

( d ) i T Ad j  i 0 (  j i ) , j m 1,2,   , 取 2 1 1 2 则这组向量是 A 共轭的，或称它们是一组 A 共轭方向。 A     1     1   1     0     ，  1      ， A 共轭，且是正交的； 1  1      A 共轭，但不正交； 2  , d , d 3 d 1 d  4  2   XiDian University

5 d  1     0   6 , d  0       ，不是 A 共轭，但是正交的 1 注：正交不一定共轭，共轭也不一定正交. 定理 3.1 设 A 是 n 阶对称正定阵， d 是 m 个 A 共轭的非零向量，则该向量 , 2 , m d d , 1 组线性无关。证：设存在一组数 1    ，使 , m , , 2 1   2  d 1 2 d    m m d  m i 1  XiDian University   d  i i 0

则对于 {1,2, j    ，有 m , } m  i 1  ( d ) j T A d (  i i )  m  i 1  (  i d ) j T i Ad (   i d ) j T Ad j  0 j , j 0( m ) d d , 又 A 是正定阵， jd 为非零向量，所以 1,2, d 为线性无关     。所以 1 的向量组。 d 是 nR 中线性定理 3.2 设无关的向量组。如果 p 与每个 id 都正交，则 p  0 。 p R ， 1 d d , , m , 2 , 2 n n , 证明见 P77 引理 4.6 的证明。 XiDian University

定理 3.3 设 A 为 n 阶对称正定阵， 1 2 f x ( )  x Ax b x T T   c  为任一组 A -共轭的非零向量，则由任意初始点 x1 出发， d d ，若 , 1 2 , n , d 按下列迭代格式 f x min (  x 1     x 0 k k d  k )  k f x (  d  k k ) , 至多迭代 n 次必达到最优点（称为二次收敛）. k  1 2  n , , k  d k k XiDian University

k k k b g f x Ax ( )  ，则有    b b A x d ( ) k k      k 1 2  Ad k ,    k 1 2  反复用上述递推公式得 n , , ), , Ad g   n Ad 1 k    k  Ad Ad  n    n 1  1  , , n n n   1 n  Ad 2 k    1 2 k , ,  , n  证明：记 1 1   k k k n   1  Ax g  g k  0 i ig (  g 1 n    2 1 k  Ad n  n ) 若 g n  f x 于 k 是 min ( 0 d  k k d  ( 0   k  g  f x (   d  ) k T  k k k 由的最优解，故 1 2  n g , k ) T  d k , ,  1 k XiDian University

k k 2 n k k  1 g g k  2 T  1 T n  1 T  1 T  d , （1）   d g d d Ad Ad k k      1 k k   1 1 2 0 d Ad k , , nT k       n 0 （2） d g ) n 得 ( 1 n T n  在上式中令 k  1 2  . n d , 综合（1）、（2）两式有 ( ) T n  d d d 由定理 3.1 知 , , , 1 n  线性无关，再由定理 3.2 x x 1 n 0 即及上式知 ng  1    共轭方向法：把从初始点 x1 方向进行一维搜索求解无约束优化问题的方法称为共轭方向法（Conjugate direction method ）出发，依次沿某组共轭为最优解. d n k k  0 , , n n 2 XiDian University

分享到：

赞收藏

资料库

最优化算法第四章2.pdf

相关推荐

课程资源

热门标签

最新资料