§1.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.1.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.1.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.1.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.4.1 Γ, χ2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.4.2 F, t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.5.1 . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.5.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.5.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.6.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.6.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.6.3 . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.7.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.7.2 . . . . . . . . . . . . . . . . . . . . . . . . . .
§1.7.3 . . . . . . . . . . . . . . . . . . . . . . . . . .
§2.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§2.1.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§2.1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§2.1.3 F . . . . . . . . . . . . . . . . . . . . . . . . .
§2.2 M SS . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§2.2.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§2.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§2.3.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§2.3.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1
1
2
3
3
4
8
12
12
14
15
15
16
18
19
20
21
24
26
26
28
30
33
33
33
34
36
40
40
42
42
44
1
§2.3.3 . . . . . . . . . . . . . . . . . . . . . . . . . .
§2.3.4 Basu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§2.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§2.4.1 F isher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§2.4.2 Kullback − Leibler K − L . . . . . . . . . . . . . . . . .
§3.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§3.1.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§3.1.2 . . . . . . . . . . . . . . . . . . . . . . . .
§3.1.3 Æ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§3.2 UMRUE,UMVUE . . . . . . . . . . . . . . . . . . . . . . . . .
§3.2.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§3.2.2 Lehmann-Scheffe . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§3.2.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§3.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§3.3.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§3.3.2 . . . . . . . . . . . . . . . . . . . . . . .
§3.3.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§3.3.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
§3.3.5 . . . . . . . . . . . . . . . . . . . . . . . .
§3.4 MEE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
47
48
49
49
58
63
63
63
64
64
66
66
68
70
75
75
80
83
84
86
88
MREE
91
§4.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
91
§4.1.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
91
§4.1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
93
§4.2 MREE . . . . . . . . . . . . . . . . . . . . . . . .
97
§4.2.1 . . . . . . . . . . . . . . . . . . . . .
97
§4.2.2 MREE . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
98
§4.2.3 Pitman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
§4.3 . . . . . . . . . . . . . . . . . . . 104
§4.3.1 . . . . . . . . . . . . . . . . . . . . . 104
§4.3.2 . . . . . . . . . . . . . . . . . . . . . . . . 105
§4.3.3 Pitman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
§4.4 . . . . . . . . . . . . . . . . 113
§4.4.1 . . . . . . . . . . . . . . . . . . 113
3
§4.4.2 . . . . . . . . . . . . . . . . . . . . . 116
§4.4.3 Pitman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
121
§5.1 CR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
§5.1.1 CR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
§5.1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
§5.1.3 Bh Bhattacharya . . . . . . . . . . . . . . . . . . . . 129
§5.1.4 CR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
§5.2 CR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
§5.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
§5.3.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
§5.3.2 . . . . . . . . . . . . . . . . . . . . . 139
§5.3.3 . . . . . . . . . . . . . . . . . . . . 143
§5.3.4 . . . . . . . . . . . . . . . . . 144
150
§6.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
§6.2 Neyman-Pearson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
§6.2.1 N-P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
§6.2.2 N-P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
§6.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
§6.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
§6.4.1 " . . . . . . . . . . . . . . . . . . . . . . . . 172
§6.4.2 . . . . . . . . . . . . . . . . . . . . . . . . . . 173
§6.4.3 . . . . . . . . . . . . . . . . . . . . . . . 182
§6.5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
§6.5.1 . . . . . . . . 184
§6.5.2 # . . . . . . . . . . . . . . . . . . . . . . . . . . 190
§6.5.3 # . . . . . . . . . . . . . . . . . . . . . . . . . . 194
§6.6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
§6.6.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
§6.6.2 . . . . . . . . . . . . . . . . . . . . . . . . . . 201
§6.7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
§6.7.1 $ . . . . . . . . . . . . . . . . . . . . . 205
§6.7.2 $ Pearson . . . . . . . . . . . . . . . . . . . . . . 207
§6.7.3 $ Fisher . . . . . . . . . . . . . . . . . 209
4
§6.7.4 ! " . . . . . . . . . . . . . . . . 214
§6.7.5 " # . . . . . . . . . . . . . . . . . . . . . . . 216
218
§7.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
§7.2 % & . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
§7.2.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
§7.2.2 ’ & . . . . . . . . . . . . . . . . . . . . . . . . . . 221
§7.3 & & . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
§7.3.1 & . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
§7.3.2 & UMA . . . . . . . . . . . . . . . . . . . . . . . 225
§7.4 Tolerance . . . . . . . . . . . . . . . . . . . . . . . . . 228
§7.4.1 " . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
§7.4.2 # . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
§7.4.3 . . . . . . . . . . . . . . . . . . . . . . . 232
Bayes
234
§8.1 Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
§8.1.1 Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
§8.1.2 $ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
§8.2 Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
§8.2.1 Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
§8.2.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
§8.2.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
§8.3 Bayes . . . . . . . . . . . . . . . . . . . . . . . 246
§8.3.1 Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
§8.3.2 Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
! "
% " ## ( ) #% (RV )
# RV % " & # + ( ) ,
" X1,··· , Xn # " # iid # X1 * ) -
F (x) + Fθ(x) # θ - X1 ∼ N(μ, σ2), θ = (μ, σ2) #* + P (λ)
) # X = (X1,··· , Xn) , # - F (x) + Fθ(x) . #
+
$ , # Zacks # . + 0
, # # # & " ##
§1.1.1 &
§1.1
. X # / X ∼ PX , Pθ + X ∼ (X , βX , P ) + PX , Pθ # X ! Rn
# # # βX ! Rn # Borel & # A ∈ βX # P ! βX # " #0
P (A) " F (x) = P (X ≤ x) = P{X ∈ (−∞, x]}
1 F (x) 1 # ’ F (x) 1 #2 # F (−∞) =
0, F (+∞) = 1
2 F (x + 0) = F (x), F (x− 0) = P (X < x), P (X = x) = F (x)− F (x− 0), x #
Æ P (X = x) = 0
F (x) # ’ 1 R1 # P (A), A ∈ R1 Borel & $
1 X $ + 2 #P (X = xk) = pk = f(xk) #X $
−λ · λk · k! = pk = f(x) # 3 P (X = 0) = 1
0, 1, 2,··· * + P (X = k) = e
+ P (X = a) = 1
= Δ(x)
=
F (x)
⎧⎨
⎩ 1,
0,
x ≥ 0
x < 0
+ F (x) = Δ(x − a) = I{x ≥ a} Δ(x) ! # Δ(x) = I{x ≥ 0} =
= I{A} #0 x ∈ A, IA(x) = 1; x¯∈A, IA(x) = 0 + /
I{x≥0}(x), IA(x)
F (x) =
pkΔ(x − xk) =
pk =
f(xk)
k
xk≤x
xk≤x
x−∞ f(y)dy + F
(x) = f(x)
(2) % , ) f(x) #0 F (x) =
(3) 1 5 F (x) - , )
1
2
b
=
miμ(xi), SM =
b
a f(x)dμ(x)
Miμ(xi) , ) 4 # μ(xi) 1 xi μ
(4)Stieltjes S − T
a f(x)dx # F (x) =
a f(x)μ(dx) #
. R1 # f(x) μ(·) # ’ [a, b] # 4 # n → ∞ #
Sm =
(a)μ(·) 1 & " #Æ μ(xi) = xi,
a−∞ dμ(y) #/ 1
(b)μ(·) 1 #/ {xk} 2 x1, x2,··· , xk,··· # μ{[a, b]} = #{[a, b]
1 {xk}} # 2 xi → 0
⎧⎨
⎩ 1, Δx 1 2{xu}
0, Δx 1 2{xu}
a−∞ dF (x) # μ(·) 1 & "
b
a f(x)dμ(x) =
a−∞ f(y)dy =
b
b
a f(x)dμ(x) =
μ(xi) =
−∞ f(y)dμ(y) =
xk∈[a,b] f(xk)
x
(c)μ(·) 6 1 " P (·) + F (x) F (·)
f(xk) =
f(xk)
xk∈[−∞,x]
xk≤x
x
xk≤x
xk≤x
pk =
F (x) =
f(xk) =
pk = f(xk) 6 1
2
−∞ f(y)dμ(y)
x−∞ f(y)dμ(y) % X ∼
(X , βX , Pθ), θ ∈ Θ, Θ ! % μ(·) 1 & " 4 F
(x) = f(x) 3
μ(·) 1 # f(xk) = pk = P (X = xk) + " P (X ∈ A) =
A f(y)dμ(y) = P (A), E[g(X)] =
§1.1.2
% # F (x) =
g(x)f(x)dμ(x) =
g(x)dF (x)
" . 0 < p < 1 # p = 0.05, p = 0.95 #F
−1(p) ’ 5#0 F (?) = p #
/ 1 xp, F (x) 4 # 6 0 # F
−1(p) , ) + 7
= inf{x : F (x) = p}
) < p 3
* 1.1.1 F (x) p # 1 xp
inf xp , ) 7 # / F (xp) = p
< xp #Æ F (x
i) x
ii)F (xp − 0) ≤ p ≤ F (xp) 3
iii)xp 1 F (x) #Æ F (xp) = p
1) + F (x
2 F (xp) ≥ p #) 1 x
( ) x0.05, x0.1, x0.9, x0.95, x0.5
* 1.1.1 g(c) = E|X − c| ) c = x0.5 5
) ≥ p #Æ xp ≤ x
#)
→ xp − 0 #Æ F (xp − 0) ≤ p
+ - /
−∞(c − x)f(x)dμ(x) +
c
+∞
(x − c)f(x)dμ(x)
f(x)dμ(x) = 2
c
c
−∞ f(x)dμ(x) − 1 = 0
3
(1.1)
g(c) =
g
(c) =
⇒
+∞
−∞
c
|x − c|f(x)dμ(x) =
+∞
−∞ f(x)dμ(x) −
−∞ f(x)dμ(x) = 0.5,
−1(0.5) = x0.5
c
c
0 F (c) = 0.5, c = F
(c) = 2f(c) ≥ 0 # 0 g(x0.5) 1
g
§1.1.3 " #
M(t)
= E(etZ)
ϕ(t)
= E(eitZ) = M(it)
&
i)M (k)(0) = E(X k)
ii)ϕ(t) = 1 +
iii)ξ = (ξ1,··· , ξn), ξ1,··· , ξn 7 " # ⇔ ϕξ(t1,··· , tn) = ϕξ1(t1)ϕξ2(t2)··· ϕξn(tn)
r! #Æ Kr 1 r
* 1.1.2 + (cumulent)
= ak, ϕ(k)(0) = ikak, E(X k) = i
tk
k! 3
−kϕ(k)(0) 3
∞
log ϕ(t) =
, M(t) = 1 +
∞
∞
k=1 ak
k=1 ak
(it)k
k!
Kr
(it)r
r=1
+
i)Kr ak &
K1 = a1 = E(X),K2 = m2 = E(X − EX)2
K3 = a3 − 3a1a2 + 2(a1)3
a1 = K1, a2 = K2 + (K1)2, a3 = K3 + 3K1K2 + (K1)3,···
ii) X, Y " #Æ Kr(X + Y ) = Kr(x) + Kr(Y ) 3
iii)Kr(X + C) = Kr(X), (r > 1)
&
r1
8 8 r2
r1 = 0, r2 = 0¿
. mode f(x) 8
σ3 = E(X−EX)3
σ4 − 3
= m3
= m4
[V ar(X)]3/2
E(X) = ET{E(X|T )},
V ar(X) = ET{V ar(X|T )} + V arT{E(X|T )},
(1.1.1)
(1.1.2)
§1.1.4 %
* 1.1.3 . x, Fn(x)
= n
−1#{X1,··· , Xn ≤ x}
Yi = I{Xi ≤ x} =
/ ! 5 Fn(x) = n
xi ≤ x
xil ≥ x
0,
⎧⎨
⎩ 1,
−1
−1
= n
, Y1,··· , Yn 1 " #$ 0, 1
i=1 I{Xi ≤ x} = n
i=1 Δ(x − Xi)
−1
n
n
4
i=1 Yi #
n
9 P (Yi = 1) = P{Xi ≤ x} = F (x) = p #P (Yi = 0) = P{Xi > x} = 1− F (x) =
1 − p # E(Yi) = F (x), V ar(Yi) = F (x){1 − F (x)}
√
* 1.1.2 X1,··· , Xn, iid, X1 ∼ F (x) #Æ
1 ∀x : Fn(x) → F (x) (a.e);
2
Fn(x) = n
i=1(Yi − EYi) → 0, (a.e) 0 n
n
n{Fn(x) − F (x)} → N(0, F (x)[1 − F (x)])
−1
−1
n
n
n
−1
i=1 Yi = Fn(x) → EY1 = F (x),
i=1(Yi − EYi)
i=1 V ar(Yi)
n
i=1 Yi − nEY1
nV ar(Y1)
nFn(x) − nF (x)
nF (x)[1 − F (x)]
√
n{Fn(x) − F (x)} → N(0, F (x)[1 − F (x)])
→ N(0, 1)
→ N(0, 1)
→ N(0, 1)
n
n
i=1 Yi, Yi * ) 9 #
9 #
§1.2 0 ’ (
(1) 3
P (X = a) = 1, F (x) = Δ(x − a) = I{x ≥ a}
(2) X ∼ b(1, θ)
X = 1 A < #, : #+ 3 X = 0 A < 7 # , : #+
EX = θ, V ar(X) = θ(1 − θ) # p(x) = θx(1 − θ)1−x, x = 0, 1 # 3 1
1−θ +ln(1−θ)
p(x) = ex ln θ+(1−x) ln(1−θ) = ex ln θ
= logit(θ) # < " < 7 " 1
/ 0 < θ < 1 # −∞ < logit(θ) < +∞ #> Æ
ϕ(t) = (1 − θ) + θeit
⎛
⎞
⎞
(3) 9 $ X ∼ b(n, θ) X ! n A , : + < #P (A) = θ,
⎠ θi(1 − θ)n−i
⎝ n
⎠ θx(1 − θ)n−x, x =
= b(i|n, θ) # p(x) =
⎛
⎝ n
ln θ
1−θ
i
p(i) = P (X = i) =
0, 1, 2,···
i