最优化方法复习提纲
一、概念
凸集,凸函数,局部极小点,全局极小点,下
降方向,最优步长,共轭方向,可行方向,积
极约束,基,基本解。
二、计算
1. 黄金分割法 ; 抛物线插值法。
2. 梯度法:迭代公式,计算 。
3. 共轭梯度法:共轭方向判断,迭代公式的构造 .
4. 牛顿法:迭代公式,计算 .
5. 最小二乘法: 最小二乘问题; 线性最小二乘问
题的最优解.
6. 模式搜索法:计算。
7. 最优性条件: 积极约束判断,K-T条件,K-T
点判断.
8. 惩罚函数法: 外点法惩罚函数的构造,内点法障
碍函数的构造,外点法计算。
9. 线性规划: 建立线性规划模型,化标准型,基
本可行解的计算,单纯型算法计算.
例
.1
试用梯度法解下述问题
2
xf
x
(
1
T
,)1,1(
求迭代点
min
x
已知初始点
x
4
2
2
)
1
x
2
。
解:
)
xf
(
1
d
x
x
2[
1
( 1
xf
)
1
d
x
1
8,
Tx
]
2
T
]8,2[
T
]81,21[
1
1
xf
d
(
)21(4
记
(
)
('
)
令
17
130
1
x
1
x
2
)
2
)21(
0)81(64
)81(4
2
1
d
1
[
48
65
,
3
65
T
]
例
.2
试用牛顿法解下述问题
2
xf
x
(
1
T
,)1,1(
求迭代点
min
x
已知初始点
x
4
2
2
)
1
x
2
。
解:
xf
)
(
2[
( 1
xf
)
Tx
x
8,
]
1
2
T
]8,2[
2
xf
(
)
02
80
2
1
xf
(
)
1
2/1
0
0
8/1
2
x
1
x
2
1
xf
(
)
1
xf
(
1
)
T
]0,0[
3
例
试写出下述问题的
3
x
2
1
2
xf
min
(
2
x
1
)
x
ts
..
1
TK 条件。
2
x
1
2
x
2
x
2
xx
3
21
2
x
x
2
2
2
x
4
0
2
2
2
x
2
3
2
解:
xf
)
(
xg
(
)
1
x
6[
1
3
3
2
x
1
x
2
x
2
4,
2
x
2
1
4,
x
Tx
3
]
1
2
x
x
2
2
T
]1
2
)
22[
x
1
2
2
xg
(
1
xg
(
2
xg
(
2
)
2
x
)
x
1
4,1[
x
2
2
2
x
4
T
]4
xg
(
3
)
x
2
xg
(3
)
T
]1,0[
条件为
x
1
x
2
3
3
1
x
2
x
1
3(
1
TK
6
4
2
0
1
0
1
x
4
2
x
2
4
0)
2
2
x
22
1
x
1
4
2
2
x
x
x
2
2
1
1
x
0
22
,
0
1
2
4
例
试分别写出下述问题的
x
1
x
2
xf
)
(
2
x
3
1
min
ts
..
(
2
解: 惩罚函数
2
惩罚函数及障碍函数。
2
x
2
6
x
2
2
)
MxG
(
,
)
(
x
1
2
x
2
2
)
2
Mx
2
[min
2{
x
2
36
2
x
1
2
}]0,
障碍函数
x
(
)
,
(
x
1
2
x
2
2
)
2
x
2
u
1
36
2
x
1
2
x
2
或
x
)
(
,
(
x
1
2
x
2
2
)
2
x
2
u
2ln(
x
2
36
2
x
1
)