信号模型:
( )
x k
(
a x k
1
1)
(
a x k
2
2)
( )
w k
其中 ( )w k 是高斯白噪声。模型参数有两组:
a
1
0.195,
a
2
0.95
和
a
1
1.595,
a
2
0.95
(1)由仿真数据估计 R 和理论值比较,
(2)令
1
tr[
R
]
;编写 LMS 算法,画出 1w 、 2w 的收敛曲线,
(3)对比两组参数,分析其结果差异原因,
(4)对比微商法结果和 SER 算法(考虑遗忘因子和初始矩阵 0Q 的选择)。
解答:
(1)
自相关矩阵的理论值计算
对于二阶 AR 模型,由 Yule-walker 方程可知
xx
xx
xx
(0)
(1)
(2)
xx
xx
xx
(1)
(0)
(1)
xx
xx
xx
(2)
(1)
(0)
1
a
1
a
2
2
0
0
xx
xx
xx
(0)
(1)
(2)
1
a
1
a
2
1
a
1
a
2
a
1
a
2
0
1
1
2
0
0
而 ( )
x n 自相关的估计值为
ˆ (
xx
)
m
1
N
N m
1
n
0
(0)
(1)
R
xx
xx
xx
xx
(1)
(0)
( ) (
)
x n x n m
ˆ
R
ˆ
xx
ˆ
xx
(0)
(1)
ˆ
xx
ˆ
xx
(1)
(0)
计算 R 的理论值,并产生 1000 个输入数据来估计 R 。结果如下:
当 1a =-0.195, 2a =0.95 时, R 的理论计算结果为
R
=
10.3600
1.0360
1.0360
10.3600
,
R 的估计值为
R
=
12.2946
1.2881
1.2881
12.2946
当 1a =-1.595, 2a =0.95 时,R 的理论计算结果为
R
=
30.9899 25.3481
25.3481 30.9899
,
R 的估计值为
R
=
25.2713 20.6758
20.6758 25.2713
(2)
x 1021
a1=-0.195 a2=0.95 步 长 因 子 =1/tr(R)
x 10105
1.5
a1=-1.595 a2=0.95 步 长 因 子 =1/tr(R)
w1的 收 敛 曲 线
w2的 收 敛 曲 线
2
1
w
和
w
值
权
1
0.5
0
-0.5
400
500
迭 代 次 数
600
700
800
900
1000
-1
0
100
200
300
400
500
迭 代 次 数
w1的 收 敛 曲 线
w2的 收 敛 曲 线
600
700
800
900
1000
8
6
4
2
0
2
1
w
和
w
值
权
-2
-4
-6
0
100
200
300
左图参数为
a
1
0.195,
a
2
0.95
,右图参数为
a
1
1.595,
a
2
0.95
。
从图中我们可以看出权值是不收敛的,因为步长因子选取不符合收敛条件:
0
1
R
tr
我们取步长因子为
0.2
tr[
R
]
,其他条件相同,得到仿真结果如下:
a1=-0.195 a2=0.95 步 长 因 子 =0.2/tr(R)
0.6
0.4
0.2
0
-0.2
-0.4
-0.6
-0.8
-1
-1.2
2
1
w
和
w
值
权
w1的 收 敛 曲 线
w2的 收 敛 曲 线
600
700
800
900
1000
-1.4
0
100
200
300
400
500
迭 代 次 数
2
1
w
和
w
值
权
2
1.5
1
0.5
0
-0.5
-1
-1.5
0
a1=-1.595 a2=0.95 步 长 因 子 =0.2/tr(R)
w1的 收 敛 曲 线
w2的 收 敛 曲 线
100
200
300
400
500
600
700
800
900
1000
迭 代 次 数
上面两图分别对应修改后的第一类和第二类。
(3)
当 1a =-0.195, 2a =0.95 时,数据自相关矩阵 R 的特征值为:
当 1a =-1.595, 2a =0.95 时,数据自相关矩阵 R 的特征值为:
9.3240
11.3960
5.6417
56.3380
参数为 1a =-1.595, 2a =0.95 时,系统的条件数较大,因而,收敛较慢。
(4)
SER 法:
令
0.2
tr[
R
]
,对于第一组参数
a
1
0.195,
a
2
0.95
a1=-0.195 a2=0.95 步 长 因 子 =0.2/tr(R) 遗 忘 因 子 =0.98623
w1的 收 敛 曲 线
w2的 收 敛 曲 线
2
1.5
1
0.5
0
-0.5
-1
-1.5
a1=-0.195 a2=0.95 步 长 因 子 =0.2/tr(R) 遗 忘 因 子 =0.96594
w1的 收 敛 曲 线
w2的 收 敛 曲 线
1.5
1
0.5
0
-0.5
-1
2
1
w
和
w
值
权
2
1
w
和
w
值
权
-2
0
100
200
300
400
500
迭 代 次 数
600
700
800
900
1000
-1.5
0
100
200
300
400
500
600
700
800
900
1000
迭 代 次 数
左图和右图分别为遗忘因子 0.98623
对于第二组参数
0.95
1.595,
a
a
1
2
和 0.96594
。
a1=-0.195 a2=0.95 步 长 因 子 =0.2/tr(R) 遗 忘 因 子 =0.96594
w1的 收 敛 曲 线
w2的 收 敛 曲 线
1
0
-1
-2
-3
-4
-5
-6
3
2
1
0
-1
-2
-3
2
1
w
和
w
值
权
2
1
w
和
w
值
权
a1=-1.595 a2=0.95 步 长 因 子 =0.2/tr(R) 遗 忘 因 子 =0.96594
w1的 收 敛 曲 线
w2的 收 敛 曲 线
600
700
800
900
1000
-7
0
100
200
300
400
500
迭 代 次 数
600
700
800
900
1000
-4
0
100
200
300
400
500
迭 代 次 数
左图和右图分别为遗忘因子 0.98623
和 0.96594
。
对比上两组图可以看出,遗忘因子的不同导致了收敛速度的不同,而且其对
权值收敛以后的震荡情况也有很大的影响,由于此处生成的是平稳信号,因此遗
忘因子越接近 1,收敛后的震荡情况越小,因此前一组图比后一组图效果好。
微商法:
令
0.2
tr[
R
]
,扰动量 0.01
a1=-0.195 a2=0.95 步 长 因 子 =0.2/tr(R) 扰 动 量 =0.01
w1的 收 敛 曲 线
w2的 收 敛 曲 线
0.4
0.2
0
-0.2
-0.4
-0.6
-0.8
2
1
w
和
w
值
权
0.4
0.2
0
-0.2
-0.4
-0.6
-0.8
2
1
w
和
w
值
权
a1=-0.195 a2=0.95 步 长 因 子 =0.2/tr(R) 扰 动 量 =0.01
w1的 收 敛 曲 线
w2的 收 敛 曲 线
600
700
800
900
1000
-1
0
100
200
300
400
500
迭 代 次 数
600
700
800
900
1000
-1
0
100
200
300
400
500
迭 代 次 数
上面两图分别为参数为
a
1
0.195,
a
2
0.95
时候最陡下降法、Newton 法的
权值收敛曲线。
2
1
w
和
w
值
权
2
1.5
1
0.5
0
-0.5
-1
0
a1=-1.595 a2=0.95 步 长 因 子 =0.2/tr(R) 扰 动 量 =0.01
w1的 收 敛 曲 线
w2的 收 敛 曲 线
100
200
300
400
500
600
700
800
900
1000
迭 代 次 数
2
1
w
和
w
值
权
2
1.5
1
0.5
0
-0.5
-1
0
a1=-1.595 a2=0.95 步 长 因 子 =0.2/tr(R) 扰 动 量 =0.01
w1的 收 敛 曲 线
w2的 收 敛 曲 线
100
200
300
400
500
600
700
800
900
1000
迭 代 次 数
上面两图分别为参数为
a
1
1.595,
a
2
0.95
时候最陡下降法、Newton 法的
权值收敛曲线。
从图中可以看出 LMS 算法、SER 算法和微商法中,微商法的稳态性能是最
好的;由于第一组参数的协方差矩阵的特征值分布集中,因此第一组参数的收敛
速度角第二组的快;经过对比可知 Newton 法比最陡下降法的收敛速度更快。