1 统计量与抽样分布
1.1 基本概念:统计量、样本矩、经验分布函数
总体 X 的样本 X1,X2,…,Xn,则 T(X1,X2,…,Xn)即为统计量
样本均值
X
样本方差
S
2
n
2
(
X
i
X
)
n
1
n
1
i
修正样本方差
2*
n
S
n
2
(
X
i
X
)
n
1
1
1
i
样本 k 阶原点矩
A
k
n
1
n
1
i
X
k
i
(,
k
,...)2,1
样本 k 阶中心矩
X
k
(,)
k
,...)2,1
i
n
(
B
k
X
1
n
1
i
(,)(
xv
n
n
(
))
xFnB
经验分布函数
)(
xF
n
x
)
xVn
,(~)(
,则有
[
(
xFE n
)]
{
xX 出现的次数,
}
其中 Vn(x)表示随机事件
(1
xF
n
[
(
xFD n
)(
xF
)]
1)[
(
xF
)]
显然
补充:
2
ESn
S
2
n
1
n
DX
n
1 n
n
1
i
X
2
i
ESn 2*
DX
2
EX
DX
(EX
)
2
2
X
二项分布 B(n,p):
{
kXP
}
k
pC
k
n
1(
p
)
kn
(,
k
,...,1,0
n
)
EX=np DX=np(1-p)
泊松分布
)(P
:
{
kXP
}
k
(,
!
k
e
k
,...)1,0
a
bx
)
EX
DX
均匀分布 U(a,b):
EX
ba
2
指数分布:
1EX
DX
( )
f x
1
2
DX
(,1
ab
2)
(
ab
)(
xf
1
12
e
x
,(
x
0)
F x
( ) 1
e
x
,(
x
0)
正态分布
2N
(
,
)
:
)(
xf
1
2
exp{
2
(
)
x
2
2
}
EX
2DX
E
(
2
nS
n
2
)
n
1
ES
2
n
1
2
n
n
D
(
2
nS
n
2
)
2(
n
1)
DS
2
n
2(
1)
n
2
n
4
当
0 时,
0EX
EX
2
2
4
43
EX
2XE
XD
)21(
2
1.2 统计量:充分统计量、因子分解定理、完备统计量、指数型分布族
T 是θ的充分统计量
与θ无关
,
(
xxf
,...,
)
t
Tx
n
1
2
T 是θ的完备统计量 要使 E[g(T)]=0,必有 g(T)=0
L
)(
n
i
1
(
xf
i
)
;
(
,
xxh
1
2
,...,
,
xxTgx
n
(()
1
,...,
x
n
2
)
);
且 h 非负 T 是θ的充分统计量
n
i
1
n
i
1
(
xf
i
;
)
C
)(
exp{
b
()(
,
xxT
1
,...,
x
n
2
)}
(
,
xxh
1
,...,
x
)
n
2
T 是θ的充分完备统计量
(
xf
i
)
;
C
)(
exp{
b
1
)(
,
xxT
1
(
1
,...,
x
)
b
2
n
2
)(
,
xxT
(
2
1
,...,
x
n
2
)}
,
(
xxh
1
,...,
x
)
n
2
,
(
1 TT
2
)
是
1
2
(
,
)
的充分完备统计量
1.3 抽样分布: 2 分布,t 分布,F 分布,分位数,正态总体样本均值和方差的分布,非正
态总体样本均值的分布
2 分布:
2
X
2
1
X
2
2
...
X
2
2
~
n
)(
n
)(
xf
x
2
e
x
n
2
1
(
x
)0
1
n
2
2
(
n
2
)
2
E
n
2
D
2
n
T 分布:
T
X
/
nY
)(~
nt
当 n>2 时,ET=0
DT
n
2
n
X
Y
n
1
n
2
F 分布:
F
补充:
(~
,
nnF
1
)
2
1
F
,
(
2 nnF
1
)
Z=X+Y 的概率密度
f z
)(
z
合概率密度
,(
zxf
x
)
dx
(
zf
,
yy
)
dy
f(x,y)是 X 和 Y 的联
Y
X
)(xg
Z 的概率密度
f z
)(
z
,(
xzxf
)
dxx
y
的概率密度
f
y
)(
y
(
gf
x
1
(
y
[))
g
1
(
y
)]'
函数:
)
(
0
1
x
e
x
dx
(
)1
)
(
)(
n
(
n
,)!1
1)1(
B 函数:
B
)
(
,
1
0
1
x
1(
x
)
1
dx
B
)
(
,
)
(
()
)
(
1.4 次序统计量及其分布:次序统计量、样本中位数 X 、样本极差 R
X(k)的分布密度:
f
x k
(
)
)(
x
!
n
()!1
kn
)!
(
k
[
(
xF
)]
k
1
1[
(
xF
)]
kn
(
xf
(),
k
,...,2,1
n
)
X(1)的分布密度:
f
)()1(
x
x
(
xnf
1)[
(
xF
)]
n
1
X(n)的分布密度:
f
)()
x
x
(
n
(
xFxnf
)[
(
n
1
)]
2 参数估计
2.1 点估计与优良性:概念、无偏估计、均方误差准则、相合估计(一致估计)、渐近正态估
计
的均方误差:
MSE
)
( ,
)
(
E
2
若 是无偏估计,则
MSE
( ,
D
)
)
D
E
(
2
*D
对于的任意一个无偏估计量 ,有
D
,则 * 是的最小方差无偏估计,记 MVUE
相合估计(一致估计): lim n
2.2 点估计量的求法:矩估计法、最大似然估计法
矩估计法:
E
lim
n
0
n
D
n
1 求出总体的 k 阶原点矩:
a
k
EX
k
k
x dF x
m
,...,
( ;
,
1
2
)
2 解方程组
a
k
最大似然估计法:
1 n
(k=1,2,...,m),得
n
1
i
X
k
i
k
k
(
X X
1
,
2
,...,
X
)
n
即为所求
1 写出似然函数
L
( )
n
i
1
(
f x
i
;
)
,求出 lnL 及似然方程
L
ln
i
0
i=1,2,...,m
2 解似然方程得到
i
(
,
x x
1
2
,...,
x
)
n
,即最大似然估计
i
(
X X
1
,
2
,...,
X
)
n
i=1,2,...,m
补充:
似然方程无解时,求出的定义域中使得似然函数最大的值,即为最大似然估计
2.3MVUE 和有效估计:最小方差无偏估计、有效估计
*
T 是的充分完备统计量, 是的一个无偏估计
最小方差无偏估计的求解步骤:
|
E
为的惟一的 MVUE
T
(
)
1 求出参数的充分完备统计量 T
2 求出
ET
( )
g
,则
1( )
g T
是的一个无偏估计
或求出一个无偏估计,然后改写成用 T 表示的函数
3 综合,
[
E g T T
( )
1
]
1
( )
g T
是的 MVUE
或者:求出的矩估计或 ML 估计,再求效率,为 1 则必为 MVUE
T 是 ( )
g 的 一 个 无 偏 估 计 , 则 满 足 信 息 不 等 式
D T X
[ (
)]
[
'
g
nI
2
( )]
( )
, 其 中
I
( )
E
ln (
f X
;
)
2
或
I
( )
E
2
ln (
f X
2
;
)
0
, (
f X 为样本的联合分布。
)
;
最小方差无偏估计 达到罗-克拉姆下界 有效估计量 效率为 1
无偏估计 的效率:
( )
e
1
( )
nI
D
是的最大似然估计,且 是的充分统计量 是的有效估计
2.4 区间估计:概念、正态总体区间估计(期望、方差、均值差、方差比)及单侧估计、非正
态总体参数和区间估计
一个总体的情况:
2
X N
~
(
,
2 已知,求的置信区间:
X
0
)
0
n
~
N
(0,1)
X
0
2 未知,求的置信区间:
X
*
S
n
0
n
~ (
t n
1)
X
0
u
0
n
2
S
*
(
t n
n
n
2
1)
n
i
1
(
X
i
2
)
2
~
2
( )
n
已知,求 2 的置信区间:
未知,求 2 的置信区间:
n
i
1
(
X
i
2
)
( )
n
2
2
2
n
i
i
(
X
1
2
1
2
2
)
( )
n
n
i
1
(
X
i
2
X
)
2
~
2
(
n
1)
n
X
i
(
1
2
2
i
(
2
X
)
n
1)
2
n
i
(
X
1
2
1
2
2
X
)
n
1)
i
(
两个总体的情况:
X N ,
~
(
)
,
2
1
1
2
Y N
2
~
(
,
2
)
, 均 已 知 时 , 求
2
1
2
2
2
1
的 区 间 估 计 :
X Y
(
2
1
2
2
1
2
n
n
2
1
) ~
N
(0,1)
X Y
(
2
1
)
2
2
2
1
n
n
2
1
u
2
2
2
未知时,求 1
2 的区间估计:
2
1
2
X Y
*2
1)
S
1
n
1
n
1
(
(
)
1
2
1)
(
n
2
S
*2
2
n
2
(
n n n
1
1 2
n
1
2
n
n
2
2) ~ (
t n
1
n
2
2)
, 未知时,求
1
2
2
1
2
2
:
2
*
S
2
n
2
2
*
S
1
n
1
2
1
2
2
~ (
F n
2
1,
n
1
1)
2
*
S
1
n
1
2
*
S
2
n
2
F
1
2
(
n
2
1,
n
1
1)
2
1
2
2
2
*
S
1
n
1
2
*
S
2
n
2
1,
n
1
1)
(
F n
2
2
非正态总体的区间估计:
当 n 时,
X
S
L
n
n
mX
n
1
m
1
n n
N
(0,1)
X
S
u
n
n
2
S
lim
S
n
n
1
n
1
,故用 Sn 代替 Sn-1
m
n
1
m
n n
1
m
n
u
2
~
N
(0,1)
m
n
3 统计决策与贝叶斯估计
3.1 统计决策的基本概念:三要素、统计决策函数及风险函数
三要素:样本空间和分布族、行动空间(判决空间)、损失函数 ( ,
d
L
)
统计决策函数 d(X):本质上是一个统计量,可用来估计未知参数
风险函数: ( ,
是关于的函数
[ ( ,
E L
(
d X
))]
R
d
)
3.2 贝叶斯估计:先验分布与后验分布、贝叶斯风险、贝叶斯估计
1 求样本 X=(X1,X2,...,Xn)的分布:
(
q x
|
)
n
i
1
(
f x
i
|
)
2 样本 X 与的联合概率分布: ( ,
f x
)
h
(
|
)
( )
x m x
(
q x
|
( )
)
3 求 ( ,
f x 关于 x 的边缘密度 ( )
m x
)
4 的后验密度为:
h
(
x
)
|
)
( ,
f x
( )
m x
( ,
f x
d
)
2
(
)
d
L
取
( ,
时
的贝叶斯估计为:
d
)
|
E
(
x
)
|
(
h
)
x d
贝叶斯风险为:
( ,
d
R
( )
R d
B
(
)
)
d
E
( ,
)]
[
E R
d
2
(
E
2
)
d h
(
)
x d
|
( )(
时,贝叶斯估计为:
d
)
2
[ ( )
|
]
x
E
]
[ ( ) |
x
E
取
L
( ,
d
)
补充:
( )C 的贝叶斯估计:取损失函数
( )
C
( ) |
[
E C
x
]
( ) (
C h
)
x d
|
L
( ,
d
)
( )
(
C
,则贝叶斯估计为
2
d
)
|
E
(
x
)
h
(
)
x d
|
)
( ,
f x
( )
m x
d
( ,
f x
d
)
( ,
f x
d
)
3.3minimax 估计
对决策空间中的决策函数 d1(X),d2(X),...,分别求出在 上的最大风险值 max ( ,
R
d
)
在所有的最大风险值中选取相对最小值,此值对应的决策函数就是最小最大决策函数。
4 假设检验
4.1 基本概念:零假设(H0)与备选假设(H1)、检验规则、两类错误、势函数
零假设通常受到保护,而备选假设是当零假设被拒绝后才能被接受。
检验规则:构造一个统计量 T(X1,X2,...,X3),当 H0 服从某一分布,当 H0 不成立时,T 的偏大
偏小特征。据此,构造拒绝域 W
第一类错误(弃真错误):
{
P T W H
|
}
为真
0
第二类错误(存伪错误):
{
P T W
| H
}
为假
0
势函数: ( )
( (
E
X
))
{
P X W
}
X
(
)
1,
0,
X W
X W
.
.
当
0 时, ( ) 为犯第一类错误的概率
当
1 时,1
( )
为犯第二类错误的概率
4.2 正态总体均值与方差的假设检验:t 检验、X2 检验、F 检验、单边检验
一个总体的情况:
2
X N
~
(
,
)
2 已知,检验 0
H :
0
2 未知,检验 0
H :
0
:H
1
0
:
XU
0
0
n
~
N
(0,1)
:H
1
0
:
T
X
*
S
n
0
n
~ (
t n
1)
已知,检验
未知,检验
H :
0
2
2
0
H :
0
2
2
0
:H
1
:H
1
2
2
0
:
2
2
0
:
2
2
n
i
1
n
i
1
(
X
i
2
)
2
(
X
i
2
X
)
2
~
2
( )
n
~
2
(
n
1)
两个总体的情况:
X N ,
~
(
)
,
2
1
1
2
Y N
2
~
(
,
2
)
2
2
H :
未知时,检验 0
2
1
2
1
2
:H
1
1
2
:
T
X Y
*2
(
n
S
2
1
n
1
(
n
1
1)
1)
S
*2
2
n
2
(
n n n
1 2
1
n
1
n
2
n
2
2) ~ (
t n
n
1
2
2)
, 未知时,检验
1
2
H :
0
2
2
2
1
:H
1
2
2
:
2
1
单边检验:举例说明, 2 已知,检验 0
H :
0
F
2
*
S
1
n
1
2
*
S
2
n
2
~ (
F n
1
1,
n
2
1)
:H
1
0
:
U
构造 1
X
0
n
~
N
(0,1)
,给定显著性水平,有
1{
P U u
。当 H0 成
}
立时
U
1
X
0
n
X
0
0
n
def
,因此
U
{
}
P U u
为
}
W U u
{
{
P U u
}
。故拒绝域
1
4.3 非参数假设检验方法: 2 拟合优度检验、科尔莫戈罗夫检验、斯米尔诺夫检验
2 拟合优度检验:
H p
i
:
0
p
i
0
H p
i
:
1
p
i
0
W
m
{
i
1
(
Ni np
np
i
0
2
)
i
0
2
(
m r
1)}
其中 Ni 表示样本中取值为 i 的个数,r 表示分布中未知参数的个数
科尔莫戈罗夫检验: 0
( )
H F x
:
( )
F x
0
( )
H F x
:
1
( )
F x
0
实际检验的是
( )
nF x
( )
F x
0
W
{lim sup
n
x
( )
F x
n
( )
F x
0
}
D
,
n
斯米尔诺夫检验: 0
( )
H F x G x
( )
:
( )
H F x G x
( )
:
1
实际检验的是 ( )
( )
F x G x
n
n
W
{lim sup
n
x
( )
F x G x
n
1
( )
n
2
}
D
,
2,
n n
1
4.4 似然比检验
H
明确零假设和备选假设: 0
:
0
H
1
:
1
构造似然比:
(
L x
1
1
(
L x
0
1
,...,
,...,
x
n
x
n
)
)
sup (
L x
1
sup (
L x
1
0
,...,
,...,
拒绝域:
W
{ (
x
1
,...,
x
n
)
}
x
x
n
n
;
)
)
;
5 方差分析
5.1 单因素方差分析:数学模型、离差平方和分解、显著性检验、参数估计
数学模型
,(i=1,2,...,m;j=1,2,...,ni)
H
:
0
2
1
...
n
ij
ij
~
(0,
N
ij
X
i
2
)
ij
各 相互独立
inm
Q
T
i
1
j
1
总离差平方和
(
X
ij
X
2
)
Q Q Q
T
E
A
组内离差平方和
Q
E
组间离差平方和
Q
A
inm
i
1
j
1
(
X
ij
X
i
2
)
)EQE
(
n r
2
m
i
1
n X
i
(
i
X
2
)
当 H0 成立时,
AQE
)
(
1
r
2
构造统计量
F
Q
A
Q
E
(
r
1)
(
n r
)
A
Q
Q
E
~ (
F r
1,
n r
)
,当 H0 不成立时,有偏大特征
(
k
i
,(
1
n
i
1
n
k
2
)
)
且
EQ
2 ~
2
(
n r
)
X
i
X
k
~
N
X
i
T
X
k
1
n
i
) ~ (
t n r
)
(
k
1
n
k
Q
E
i
)
(