在测量数据处理中，线性观测方程一般形式为： ( ) 其矩阵形式为：（此处 L 相当于 y y = x1*b1 + x2*b2 +… + xt*bt + b0 + E y 为可观测的随机变 量，x 为可观测的已知变量，E 为不可观测的随机误差项，b 为未知参数 y = f(x,θ ）+E--韦博 成近代非线性回归分析 式中： 为 的观测向量， 为观测向量的个数；X 为 t*1 的未知 参 数 向 量 ；t 为 必 要观 测 的 个数 ； 为 的 常 数 向 量 。 为 的观测误差向量；B 为 n*t 的设计矩阵，即： 一般的 L 表示 n*1 的观测向量，用 X 表示 t*1 的未知参数向量，用 表示 n*1 的观测误差向 量，则非线性方程可写为： （1） 式中， ，是由 n 个 X 的非线性函数组成的 n*1 的 向量，上述模型即为一般非线性模型。 为了推导公式方便，不失一般性，设 L 为同精度独立观测量。 关于模型（1）的参数估计，传统的方法是将其线性化，即将（1）式在参数的近似值 X0 出 展开为泰勒级数，并仅取至一次项，然后在应用新型模型参数估计理论进行参数估计。将非 线性模型（1）式线性化，因略去二阶以上各高次项，得到的仅含一次项的线性模型显然是 原模型的近似模型。因此，由于非线性近似后的线性模型是近似模型，所以线性近似必然会 产生模型误差。 非线性最小二乘估计的定义及存在性定理： 非线性模型（1）式相应的误差方程为： （2） 于是残差平方和为： 测量中，观测值常常有不同精度，甚至有相关观测量，但根据等价观测理论，这些观测值都 可以变换为独立观测量，所以采用同精度观测讨论问题。 定义 1： （3） 非线性模型（1）式中参数 X 的一个估计 ，若满足下列关系： 1 iititiiiibxbxbxbL0221...ni,...,2,10BBXLTnLLLL)..(21　　．　1nnTnBBBB)..(002010　　．　1nTn)..(21　　．　1nntnnttbbbbbbbbbB...::::......212222111211)(XfLTnXfXfXfXf))(..)()(()(21　　．　LXfV)ˆ())ˆ(())ˆ(()ˆ(22LXfLXfLXfVVVTTXˆ

称则 是 X 的一个非线性最小二乘估计，用 表示。在不引起混淆是简记为 。 根据定义 1 知，求非线性模型（1）式的最小二乘估计量，就是求参数 X 的估值 ，使： （31） 由于 是一常量，所以（31）式等价于目标函数为： （32） 的非线性无约束最优化问题。 非线性最小二乘估计的近似解法：Gauss-NewTon 解法 1 线性近似 当非线性模型（1）式的非线性强度较弱，可以将非线性模型在 X0 处线性化，并用线性模型 的求解理论来解算非线性模型（1）式。将非线性模型（1）式在 X0 处线性化为： （4） 记 ， 为 n*p 阶矩阵。 线性模型（4）的最小二乘估计 为 Gauss-NewTon 迭代法由（5）式得： （5） Gauss-NewTon 方法具有一定的合理性。如果（1）式为线性模型，即 ，B 为列满秩矩阵，则 ，因此（5）式可化为： 特别的，当 时， 由式（4）得到误差方程： 根据最小二乘原理可解得： 广义逆矩阵的极小最小二乘解（不相容方程） 2 minVVTXˆNLSXˆXˆXˆmin)ˆ(2)ˆ()ˆ())ˆ(())ˆ((LLLXfXfXfLXfLXfVVTTTTTLLTmin)ˆ(2)ˆ()ˆ()ˆ(LXfXfXfXRTT))(()(000XXXVXfL),...,1;,...1()()(0pintXXfXVit　　)(XVXˆ)]([)()]()([ˆ001000XfLXVXVXVXXTT)]([)()]()([ˆ11iTiiTiiiXfLXVXVXVXX0)(BBXXfBXf)(][)]([][ˆ010010BLBBBBBXLBBBXXTTTTBXXf)(LBBBXTT1][ˆ))(()(00XfLdXXBV0)(BBXXf

于是参数 X 的最小二乘估计量为： 反复迭代过程为： 迭代终止条件为： ，k 为第 k 次迭代。 G-T 结论及问题： 1 若为线性模型，由 Gauss-NewTon 法从任意初值出发，经一次迭代即可得到 LS 估计的精确 解。 2 的收敛速度可能很慢，世界上不可能求出合乎要求的接。G-N 对初值的依赖性很大， 选取一个好的初值很重要。在迭代过程中可能呢会出现很大的波动，甚至会出现 随 着 k 持续增加或随 发散的情况。 改进的 Gauss-NewTon 法： 设 是 的近似值，则 一定不能达到最小，于是有： 设 有： ，那么必存在 ，使 时， 因此，用 Gauss-NewTon 法求出 后，若适当选取 ，使： （6） 则一定有 ，这样就能保证 逐步向 的极小值靠近， 于是就可以避免迭代过程的波动性，从而保证得到收敛的最小二乘估计。 于是改进的 Gauss-NewTon 迭代算法为： （1）选定初值 ，对非线性模型（1）式线性化，并按线性最小二乘估计求 （2）适当选取 ，并按（6）式计算 （3）若 ，则转（4），否则另 ，转（1） （4）输出 和 ，结束 3 ))(()())()((00100XfLXBXBXBdXTTdXXX0ˆiiidXXX1ˆ)ˆ()ˆ(1kkXRXR1ˆiX)ˆ(kXRkXˆkXˆ*ˆX)(kTXVV0)(kXXTXXVV))(()())()((1kTkkTkXfLXBXBXBdX0*],0[*)()(kTkkTXVVdXXVVkdXkkkkkdXXX1)()(1kTkTXVVXVV)(kTXVVVVT0X0dX01X)ˆ()ˆ(01XRXR10XX1X)ˆ(1XR

该 算 法 关 键 是 要 计 算 ， 韦 博 成 建 议 对 采 用 三 点 抛 物 线 近似 ， 即 分 别 求 出 时的值，这三个值为 ， ， ， 则： 参考文献：韦博成，近代非线性回归 王新洲 非线性模型参数估计理论与应用 4 k)ˆ(XR1.0,5.0,0)ˆ(kXR)21ˆ(kkdXXR)ˆ(kkdXXR)ˆ()21ˆ(2)ˆ())ˆ()ˆ((25.05.0kkkkkkkkdXXRdXXRXRdXXRXR