实验的题目和要求 一、所属课程名称： 最优化方法 二、实验日期： 2010 年 5 月 10 日~2010 年 5 月 15 日 三、实验目的 掌握最速下降法，牛顿法和共轭梯度法的算法思想，并能上机 编程实现相应的算法。 二、实验要求 用 MATLAB 实现最速下降法，牛顿法和共轭梯度法求解实例。 四、实验原理 最速下降法是以负梯度方向最为下降方向的极小化算法，相邻 两次的搜索方向是互相直交的。牛顿法是利用目标函数 )(xf 在迭代点 kx 处的 Taylor 展开式作为模型函数，并利用这个二次模型函数的极 小点序列去逼近目标函数的极小点。共轭梯度法它的每一个搜索方向 是互相共轭的，而这些搜索方向 kd 仅仅是负梯度方向 kg 与上一次接 待的搜索方向 1kd 的组合。 五．运行及结果如下: 最速下降法： 题目：f=(x-2)^2+(y-4)^2 M 文件： function [R,n]=steel(x0,y0,eps) syms x; syms y; f=(x-2)^2+(y-4)^2; v=[x,y]; j=jacobian(f,v); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=0; syms kk; while (temp>eps) d=-T; 

f1=x1+kk*d(1);f2=y1+kk*d(2); fT=[subs(j(1),x,f1),subs(j(2),y,f2)]; fun=sqrt((fT(1))^2+(fT(2))^2); Mini=Gold(fun,0,1,0.00001); x0=x1+Mini*d(1);y0=y1+Mini*d(2); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=n+1; end R=[x0,y0] 调用黄金分割法： M 文件： function Mini=Gold(f,a0,b0,eps) syms x;format long; syms kk; u=a0+0.382*(b0-a0); v=a0+0.618*(b0-a0); k=0; a=a0;b=b0; array(k+1,1)=a;array(k+1,2)=b; while((b-a)/(b0-a0)>=eps) Fu=subs(f,kk,u); Fv=subs(f,kk,v); if(Fu<=Fv) b=v; v=u; u=a+0.382*(b-a); k=k+1; elseif(Fu>Fv) a=u; u=v; v=a+0.618*(b-a); k=k+1; end array(k+1,1)=a;array(k+1,2)=b; end Mini=(a+b)/2; 输入： [R,n]=steel(0,1,0.0001) R = R = n = 牛顿法： 1.99999413667642 1.99999413667642 1 3.99999120501463 3.99999120501463 

题目：f=(x-2)^2+(y-4)^2 M 文件： syms x1 x2; f=(x1-2)^2+(x2-4)^2； v=[x1,x2]; df=jacobian(f,v); df=df.'; G=jacobian(df,v); epson=1e-12;x0=[0,0]';g1=subs(df,{x1,x2},{x0(1,1),x0(2,1)});G1=subs(G,{x1,x2} ,{x0(1,1),x0(2,1)});k=0;mul_count=0;sum_count=0; mul_count=mul_count+12;sum_count=sum_count+6; while(norm(g1)>epson) p=-G1\g1; x0=x0+p; g1=subs(df,{x1,x2},{x0(1,1),x0(2,1)}); G1=subs(G,{x1,x2},{x0(1,1),x0(2,1)}); k=k+1; mul_count=mul_count+16;sum_count=sum_count+11; end; k x0 mul_count sum_count 结果：：k = x0 = 2 4 1 mul_count = sum_count = 28 17 共轭梯度法： 题目：f=(x-2)^2+(y-4)^2 M 文件： function f=conjugate_grad_2d(x0,t) x=x0; syms xi yi a f=(xi-2)^2+(yi-4)^2; fx=diff(f,xi); 

fy=diff(f,yi); fx=subs(fx,{xi,yi},x0); fy=subs(fy,{xi,yi},x0); fi=[fx,fy]; count=0; while double(sqrt(fx^2+fy^2))>t s=-fi; if count<=0 s=-fi; else s=s1; end x=x+a*s; f=subs(f,{xi,yi},x); f1=diff(f); f1=solve(f1); if f1~=0 ai=double(f1); else break x,f=subs(f,{xi,yi},x),count end x=subs(x,a,ai); f=xi-xi^2+2*xi*yi+yi^2; fxi=diff(f,xi); fyi=diff(f,yi); fxi=subs(fxi,{xi,yi},x); fyi=subs(fyi,{xi,yi},x); fii=[fxi,fyi]; d=(fxi^2+fyi^2)/(fx^2+fy^2); s1=-fii+d*s; count=count+1; fx=fxi; fy=fyi; end x,f=subs(f,{xi,yi},x),count 输入：conjugate_grad_2d([0,0],0.0001) 结果： x = 0.24998825499785 -0.24999998741273 f = 0.12499999986176 

count = 10 ans = 0.12499999986176 六、结论如下: 最速下降法越接近极小值，步长越小，前进越慢。牛顿法要求二阶导 数，计算量很大。共轭梯度法是介于最速下降和牛顿法之间的算法， 克服了最速下降法的收敛速度慢的缺点，又避免了牛顿法的大计算 量。