第三章 估计理论
1. 估计的分类
矩估计:直接对观测样本的统计特征作出估计。
参数估计:对观测样本中的信号的未知参数作出估计。待定参数可以是未知的确
定量,也可以是随机量。
点估计:对待定参量只给出单个估计值。
区间估计:给出待定参数的可能取值范围及置信度。 (置信度、置信区间)
波形估计:根据观测样本对被噪声污染的信号波形进行估计。预测、滤波、平滑
三种基本方式。
已知分布的估计
分布未知或不需要分布的估计。
估计方法取决于采用的估计准则。
2. 估计器的性能评价
无偏性:估计的统计均值等于真值。
渐进无偏性:随着样本量的增大估计值收敛于真值。
有效性:最小方差与实际估计方差的比值。
有效估计:最小方差无偏估计。达到方差下限。
渐进有效估计:样本量趋近于无穷大时方差趋近于最小方差的无偏估计。
一致性:随着样本量的增大依概率收敛于真值。
Cramer-Rao 界:
V
2
2
(
F
(
,
yyp
1
)
(
;
)
(
)
ln
ln
E
E
F
y
)
m
1
2
其中
1
(
,
yyp
2
y
m
)
;
2
为 Fisher 信息量。
3. 最小均方误差准则
,(
ts
模型:假定:
N )
)
)(
tn
,
,其中
)(tn
)(
ty
号
(
,
,
2
1
是观测样本,它包含了有用信号
)
,( ts
及干扰信
T
是待估计的信号随机参数。根据观测样
本对待测参数作出估计。
最小均方误差准则:估计的误差平方在统计平均的意义上是最小的。即使
即最小均方误差准则应是观测样本 Y 一定前提下的条件均值。需借助于条
eE
)ˆ,(2
E
)ˆ
(
()ˆ
T
达到最小值。此时
从而得到的最小均方误差估计为:
ˆ
)(
YMSE
d
d
)
dY
f
(
|
eE
2
)ˆ,(
0
ˆ
MSE
件概率密度求解,是无偏估计。
4. 线性最小均方误差准则
线性最小均方误差准则:限定参数估计结果与观测样本间满足线性关系。即待估
计参数是观测信号的线性函数。即
A ˆ
BY
E
0
YE
若
,则有
BY
)ˆ,(2
)ˆ
对于任意的 B,估计的均方误差为:
(
E
TYBY
E
对 B 求一阶偏导数,并使其等于 0,可得到
即
()ˆ
0
eE
A
T
ˆ,0
E
YYEB
T
YE
BY
T
BY
T
其中
是观测样本的自相关矩阵,
T
YYE
T
YE
R
Y
R
Y
YR
若
可逆,从而得到线性最小均方误差解为
是待测参量与观测样本的互相关矩阵。
Y
ˆ
LMSE
Y
1
YRR
,即需借助于两个
相关函数求解。
5. 最小二乘估计
最小均方误差准则下的估计是观测样本 Y 一定前提下的条件均值,需借助
于条件概率密度求解。
线性最小均方误差准则通过增加一个待估参数与观测样本之间满足线性关
系的约束,可以放宽对后验概率密度的要求,但仍需借助于两个相关函数求解。
最小二乘准则是一种在先验信息要求上较为宽松的估计准则。
模型假设:观测样本满足线性观测方程。且在 M 次观测过程中待测参数值保持
不变。
观测方程为:
其中 Y 是观测样本矩阵,H 为观测矩阵,θ 是待估计参数,N 为观测噪声。
HY
N
性能评价指标及优化准则:
)(
瞬时误差平方值最小化。即 令
ˆ
LS
求偏导数并使其等于 0,得到
HYH
[
T
[
HY
0]
[]ˆ
T
HY
]ˆ
为最小。通过对
ˆ
HH T
存在逆矩阵,则得到最小二乘估计为:
若
可见,最小二乘估计,只需知道观测方程的观测矩阵 H,对于待估计参数、
观测样本、观测噪声的统计特性,不需要任何先验知识,这是其非常具有吸引力
T
YHHH
1]
[
T
ˆ
LS
的一个重要原因。简单,实用。
若噪声是零均值的,最小二乘估计是无偏估计。
最小二乘估计是观测样本的线性估计。
加权最小二乘估计:
加权最小二乘估计的性能优化准则为:
)(
通过对 求偏导数并使其等于 0,得到
通过加权处理可以使最小二乘估计的估计误差降低。
]ˆ
[
[
HYWHY
ˆ
T
0]
HYWH
LSW
ˆ
T
[
WHH
LS
存在逆矩阵,则得到最小二乘估计为:
ˆ
WHH T
]ˆ
若
[
T
1]
T
WYH
加权最小二乘估计是观测样本的线性估计。 当观测噪声均值为零时,加权
最小二乘估计是无偏估计;
时,加权最小二乘估计的误差矩阵可达到其最小值。此时估计值
当
1 NRW
为有效估计。
6. 最大似然估计
观测样本 Y 一定,已知似然函数
( Yf
)
|
,θ为似然函数的参量,所谓θ的最大
似然估计是指:
ˆ
ML
max
,(
Yf
)
ˆ
ML
由于对数函数为单调递增函数,最大似然估计也可以定义为:
lnmax
对指数型概率密度函数,这样定义计算上更方便。也可以由以下方程求出:
ln
,N 为均值为零矢量,自相关矩阵
若观测样本 Y 满足线性方程
N
ˆ
为 R 的高斯噪声,θ的最大似然估计为:
ML
T
HRH
ˆ
(
ML
估计误差矩阵为:
HY
ˆ
ML
)(
E
)
T
1
HRH T
[
1
1
]
1
YHR
,(
Yf
)
(
Yf
|
|)
ˆ
ML
0
1 NRW
对高斯噪声背景,当加权最小二乘估计取最优加权值时,二者相等。即当
时,
ˆ
ML Opt
ˆ.(
LSW
)
ˆ
LSW
|
1
NRW
重要性质:对某个特定的估计问题,如果存在有效估计,最大似然估计必是其
中之一。
对于某个估计问题,有效估计不一定存在。如果有有效估计,则有效估计未必唯
一(即,达到 CLRB 下限的最小方差有多个)
高斯白噪声背景下正弦信号的最大似然估计:
~~~,
,1,0
N
y
i
1
s
i
n
i
假定观测样本为:
cos(
其中
A
i
i
0
si
A
)
噪声是零均值高斯白噪声;即
,
,
A
为未知确定量。
2
),
,0(
~~~,
Nni
N
i
|2
ˆ
(
|)
A
Y
N
ˆ
)
(
Y
ˆ
频率估计:幅度谱平方为最大时的频率
幅度估计:归一化的幅度谱
相位估计:相位谱的相反数
,1,0
(
Y
|max
2|)
,1
2
为未知量。
)
(
(
je
|
|)
Y
(
)
和
)
(
分别为观测样本的傅里叶变换及其相位谱
其中
Y
函数。
7. 最大后验估计
在观测样本 Y 一定的前提下,若已知待估计量θ的后验概率函数为
|
( Y
f
对于θ的最大后验估计为:
ˆ
MAP
|
(
)
)
f
,
可由以下方程求解:
MAPˆ
最大后验估计
)
ln(
由于
是单调递增函数,因此
根据贝叶斯定理
f
(
|
)(
YfY
)
ln
(
Yf
|
)
MAPˆ
(
|
Yf
)(
)(
ln
f
0
ˆ
MAP
max
f
Y
|
(
Y
)
0
ˆ
MAP
亦可由以下方程求出:
)
f
可得如下关系式
ln
f
(
|
Y
)
0
ˆ
MAP
当θ服从均匀分布时,
ˆ
ˆ
MAP
ML
8. 贝叶斯估计
贝叶斯估计:平均估计代价最小的估计。
首先要规定代价函数
)ˆ,( C
,用于表示当真值为θ,估计为 时所付出的代
ˆ
价。
估计的统计平均代价为:
)ˆ(
C
(
C
)
(
Y
)
)ˆ,(
,(
Yf
dYd
)
所谓的贝叶斯估计就是使上述平均估计代价为最小的估计。即
)ˆ(
C
)ˆ,(
)
dY
(
f
|
C
)
(
常用的代价函数包括:
)ˆ,(
)ˆ,(
平方误差:
C
C
单位误差:
2)ˆ
(
A
;等价于最小均方误差估计。
|ˆ
A
|
|ˆ
0
|
2/
2/
等价于最大后验估计;若后验概率
均匀分布,均值后验概率的中位数。
绝对值误差:
C
)ˆ,(
A
|ˆ
|
9. 加性高斯白噪声中的幅度估计
假设脉冲信号其它参数均为已知,只有幅度需要估计。接收信号样本为:
y
i
as
i
n
i
1,
i
k
其中幅度 a 为随机变量或未知常量。
(
通过似然函数求偏导得到:
k
y
i
i
1
as
i
)
s
i
0
从而得到最大似然估计为:
ˆ
a
ML
sy
i
i
sy
i
i
/
1
E
k
i
1
k
i
1
k
i
1
2
s
i
其中 E 为脉冲信号能量。上式表明幅度的最大似然估计可以看作是匹配滤波器
或拷贝相关器的输出。
估计是无偏的,误差方差是
E/2
,数值上达到了 CRLB,是有效估计。
10. 高斯白噪声中的非相干幅度估计
假设脉冲信号为正弦波,载波相位未知,且服从均匀分布,观测信号可表示
ˆ
a
ML
y
E
E
ˆ(
aI
1
ML
ˆ(
aI
0
ML
y
E
2
y
E
2
)
)
其中 是已知的载波频率, 是采样间隔。
为:
y
i
a
sin(
2
f
)
it
0
s
0f
通过令似然函数
y
y
y
2
Q
2
I
E
其中
最大化,可得最大似然估计:
i
k
1,
n
i
st
ayf
|
(
,利用正交接收机得到的包络。
cos
sin
i
i
y
y
)
,
k
k
i
i
1
y
i
ˆ
a
Q
Ey
E
/
ML
i
1
ln
aE
y
I
大信噪比时的估计为:
高信噪比时是无偏的,小信噪比情况下是有偏的。
11. 高斯白噪声中的非相干相位估计
假设脉冲信号为正弦波,载波相位未知,且服从均匀分布,观测信号可表示
为:
y
i
a
sin(
2
f
)
it
0
s
n
i
1,
i
k
脉冲信号,幅度 a、相位φ未知,其它参数已知。
似然函数,即接收信号的条件概率密度为:
ay
Q
2
(
ayf
ay
I
2
exp(
cos
)
,
K
|
sin
2
ka
2
4
)
其中 K 是与 a、φ独立的常量。通过求对数似然函数的最大值,可以得到最大似
然估计为:
sin
ˆ
cos
ˆ
0
ayf
(
|
)
,
ay
I
2
ay
Q
2
ln
解方程,得到:
ˆ
ML
arctan(
y
/
y
I
)
Q
ˆ
ML
由于相位在(-π,π)区间上服从均匀分布,最大后验估计与最大似然估计
一致。同为正交接收机反正切。在高信噪比条件下
12. 高斯白噪声中主动系统的时延估计
主动方式模型:
)
(
tas
)(
tn
)(
ty
MLˆ
为有效估计。
对于接收信号的连续形式,在信号波形参数确知条件下,对应的最大似然接
收机即为匹配滤波器,匹配滤波器的峰值位置对应于接收信号后沿位置的最大似
然估计时延估计值。折算成前沿位置需减掉信号的脉宽。
对于数字化后的离散形式,拷贝相关器将会受到采样带来的时延量化误差和
相位失配造成的波形失配引起的输出信噪比降低的双重影响。
采用正交接收机可以对量化误差及失配进行补偿。此时的时延估计精度主要
由相位估计精度决定。
影响时延估计效果的主要因素:
信号处理方法;(不同的方法估计效果不一样)
信号波形参数:带宽;(峰值的尖锐程度,带宽越宽,峰越尖锐)
系统带宽;信号的包络形状(影响前沿的陡峭程度,不是总用拷贝相关器
(拷贝相关器用后沿检测))
多普勒偏差。(多普勒导致脉宽变了)
采样、量化;(时间轴上的量化会导致峰值采不到,波形对不齐导致峰值
降低)
信道:(1)多途效应。(发一个信号接收多个信号,并且多个接收信号的
时延不同)
(2)干涉:同相叠加,反向抵消。
信噪比、信号幅度起伏的影响。背景噪声的分布(SNR 越高,时延估计
精度越好。背景噪声的随机性随时间起伏会影响估计精度)
Var
CRLB:
2
Ba
s
高信噪比条件下的有效估计。
)ˆ(
)ˆ(
2
min
1
2
2
2
/
2
BE
s
2
1
NE
/2(
2
)
B
s
0
常用的时延估计技术:
匹配滤波器;
相关处理器;粗测与精测。
基于前沿检测的时延估计器。(单频窄脉冲)
13. 高斯白噪声中被动系统的时延估计
主被动系统时延估计的差别:
关于信号的先验波形、参数信息;
单程传播、同步信息的获取;
背景噪声与信道条件;
通常只能测时延差,不能测绝对时延。
处理方法:
互相关:
互谱:
后果:被动系统测距能力差,测向能力通常较好;
影响因素:
信噪比:估计方差反比于信噪比。
带宽:估计方差反比于有效带宽的平方。
决策:采用宽带信号测量对时延估计有利。通过滤波(广义滤波,时、频、空域
滤波)提高信噪比。
14. 频率估计
多普勒估计与未知频率线谱估计
理论上的最佳脉冲信号多普勒频率估计器
多路并联的匹配滤波器组,沿频率轴扫描;(物理上实现困难)
物理上实用的频率估计技术:
离散傅里叶变换、周期图:不是无偏估计、也不是最小方差估计;
渐进无偏、渐进最小方差估计,一致估计
局限性、主被动系统的差异;
影响频率估计精度的因素;
CRLB:
ˆ(
)
Var
1
/2(
TNE
)
0
2
1
2
2
(
a
/
2
)
T
反比于信噪比、反比于有效持续时间的平方。
信号类型、参数的影响:窄带信号(单频填充 CW 脉冲),脉宽长。
提高频率估计精度的有效措施:
提高信噪比
增大脉宽、码宽,补零
基于相位测量(对时间求导)、瞬时频率测量等技术进行精测或补偿。
15. 时延和频率的联合估计
宽带处理有利于时延估计;
增大信噪比
增加信号的持续时间、长时间积分有利于频率估计;
对二者都有利。
对信号的要求:尖锐的峰、陡峭的沿;
模糊度函数:估计精度与分辨力;
联合估计精度与算法:联合高分辨率算法;组合算法。
多参数间的耦合;幅度与相位正交、时间与频率傅里叶变换、相位与时间、频率
间的函数关系。
任务、信号与算法三者之间的匹配。
不确定原理:
时间带宽积定理: 任意信号的时宽与带宽的乘积不能任意小。存在一个极小值。
窄带信号的持续时间不可能太小 窄脉冲信号的带宽也不可能太窄!(傅里叶
变换,时域与频域互为倒数关系)
CW 脉冲的时间带宽积最小。
宽带信号的时延估计精度高;宽脉冲信号的频率估计精度高。
二、思考题
1. 数字化过程对幅度估计的方法和效果带来了怎样的影响?
答:数字化过程中对时间和幅度进行了离散化。而时域离散化会引入随机相位,
使无偏性和有效性变差。若想修正这种影响,则应该增加一个通道,使接收
机变成正交接收机。
2. 信号的幅度估计精度受哪些因素影响?
答:(1)与信号能量和噪声功率有关,即,与 SNR 有关;
(2)与载波相位是否已知有关。
3. 对载波频率及多普勒均为已知的单频填充脉冲信号,你是否可以找到不采用
正交接收机也能保证幅度估计精度的等效方法?(需要提示么?四倍采样
率)
答:从采样率角度,采用 4 倍采样率,使相邻的两个点是正交的。
4. 正交接收机与估计理论基础之间的关系?
答:
5. 你是如何理解相位估计的先验概率分布的?
答:相位在(-π,π)区间上服从均匀分布
6. 对借助于正交接收机进行的信号的幅度和相位估计,其性能如何?
答:对于幅度估计,高信噪比时是无偏的,小信噪比情况下是有偏的。
对于相位估计,在高信噪比条件下,为有效估计。
7. 如果待估计信号为波形未知的随机过程,你将如何估计信号的强度?(自相
关)
答:通过相关函数轨迹估计信号的强度,由于在零时刻,信号的自相关函数就是
信号的强度(能量)
8. 采用前沿还是后沿估计受哪些因素制约?
答:对于峰值检测应选用后沿估计;对于宽带信号,理论上用拷贝相关,但是,
在低 SNR 条件下,多采用前沿检测。
9. 信号的幅度起伏对时延估计是否有影响?