第1页 / 共17页
第2页 / 共17页
第3页 / 共17页
第4页 / 共17页
第5页 / 共17页
第6页 / 共17页
第7页 / 共17页
第8页 / 共17页
第三章 信道容量-习题答案.doc
3.1 设信源
X
(
XP
)
x
x
2
1
4.06.0
通过一干扰信道，接收符号为 Y = { y1, y2 }，信道转移矩
阵为
1
6
3
4
，求：
5
6
1
4
(1) 信源 X中事件 x1和事件 x2分别包含的自信息量；
(2) 收到消息 yj(j=1,2)后，获得的关于 xi (i=1,2)的信息量；
(3) 信源 X和信宿 Y的信息熵；
(4) 信道疑义度 H(X/Y)和噪声熵 H(Y/X)；
(5) 接收到信息 Y后获得的平均互信息量。
解：
1)
(
xI
1
(
xI
737
bit
322
bit
6.0
.0
.14.0
log
2
log
log
2
log
(
xp
1
(
xp
)
)
)
)
2
2
2
2
2)
(
yp
1
)
(
yp
2
)
(
(
ypxp
1
)
1
/
x
1
)
(
(
ypxp
1
)
2
/
x
2
(
(
ypxp
)
1
(
(
ypxp
)
2
/
x
56.0)
6
16.0)
6
14.0
4
34.0
4
2
6.0
4.0
;
(
yxI
1
1
)
log
2
;
(
yxI
1
2
)
log
2
;
(
yxI
1
2
)
log
2
;
(
yxI
2
2
)
log
2
)
/
)
x
2
1
/
(
yp
x
1
1
(
)
yp
1
(
/
yp
x
2
1
(
)
yp
2
/
(
yp
x
1
2
(
)
yp
1
(
/
yp
x
2
2
(
)
yp
2
)
)
2
6/5
6.0
6/1
4.0
4/1
6.0
4/3
4.0
log
2
log
2
log
2
)
log
2
.0
474
bit
.1
263
bit
.1
263
bit
.0
907
bit
3)
XH
(
)
)(
YH
i
j
(
xp
i
log)
(
xp
i
)
log6.0(
log4.06.0
log)4.0
10
.0
971
bit
/
symbol
2
(
yp
j
log)
(
yp
j
)
log6.0(
log4.06.0
log)4.0
10
.0
971
bit
/
symbol
2
(
(
ypxp
)
i
/
x
i
j
log)
(
yp
/
x
i
)
j
16.0
6
log
1
6
14.0
4
log
1
4
34.0
4
log
3
4
)
log
10
2
4)
XYH
(
/
j
i
)
56.0(
6
/
715
.0
bit
)
(
)
/
(
XYH
XH
(
/
(
)
)
YXH
XH
.0
.0
971
log
5
6
symbol
)(
YH
/
(
XYH
715
.0
/
)
(
YXH
)(
)
YH
971
.0
715
bit
/
symbol
· 17 ·
5)
;
(
YXI
)
XH
(
)
YXH
(
/
)
.0
971
.0
715
.0
256
bit
/
symbol
3.2 设二元对称信道的传递矩阵为
2
3
1
3
1
3
2
3
(1) 若 P(0) = 3/4, P(1) = 1/4，求 H(X), H(X/Y), H(Y/X)和 I(X;Y)；
(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
解：
1)
XH
(
)
XYH
(
/
)
3(
4
)
i
i
i
i
log
(
(
ypxp
(
)
xp
j
3(
2
1
2lg
4
3
3
3
918
.0
/
bit
symbol
3
4
j
1
3
4
4
log)
x
i
2
/
log
2
(
yp
j
/
811.0
bit
/
symbol
1
4
x
i
)
)
1lg
3
1
4
1
3
1lg
3
1
4
2
3
2lg
3
)
log
10
2
(
yp
1
)
(
yxp
11
)
(
yxp
2
1
)
(
(
ypxp
1
)
1
/
x
1
)
(
(
ypxp
1
)
2
(
yxp
2
2
)
(
(
ypxp
)
1
/
x
1
)
2
(
(
ypxp
)
2
)
.0(
5833
log
.0
5833
.0
4167
log
.0
2
2
j
/
x
2
)
/
x
2
2
.0
5833
2
3
3
1
4
3
)
3
4
)
4167
1
3
.0
1
4
1
4
980
2
3
bit
.0
4167
/
symbol
2
)
(
yp
(
yxp
1
j
)
(
XH
(
XH
)
(
XH
)
(
yp
2
)
)(
YH
(
)
;
YXI
/
YXH
;
(
)
YXI
(
2)
)
/
(
)
YXH
)(
YH
)
/
(
YXH
)(
YH
)
(
/
XYH
811.0
/
(
)
XYH
811.0
749
.0
.0
.0
980
062
.0
bit
918
/
.0
symbol
749
bit
/
symbol
C
max
;
(
YXI
)
log
Hm
mi
2
log
2
(
xp
i
)
1
2
1(2
3
1lg
3
2
3
2lg
3
)
log
2
10
.0
082
bit
/
symbol
3.3 设有一批电阻，按阻值分 70%是 2KΩ，30%是 5 KΩ；按瓦分 64%是 0.125W，其余是 0.25W。
现已知 2 KΩ阻值的电阻中 80%是 0.125W，问通过测量阻值可以得到的关于瓦数的平均信息
量是多少？
瓦数
Y
)(
YP
8/1
y
1
64.0
y
4/1
2
36.0
5
3.0
2.0
x
1
解：
对本题建立数学模型如下：
x
阻值
X
(
)
XP
)
/
(
yp
x
1
1
(求：
;
YXI
以下是求解过程：
2
7.0
(
yp
,8.0
)
x
1
)
/
2
2
· 18 ·
56.0
14.0
56.0
08.0
1
2
2
64.0
(
)
8.07.0
)
/
(
(
)
yxp
x
ypxp
11
1
1
)
(
/
)
2.07.0
)
(
(
yxp
x
ypxp
1
2
1
1
)
(
)
(
)
(
yp
yxp
yxp
1
2
1
11
)
(
)
(
)
(
yxp
yxp
yp
1
2
11
1
)
(
)
(
)
(
yp
yxp
yxp
2
2
1
2
)
(
)
(
)
(
yxp
yxp
yp
2
2
1
2
2
)
(
log
7.0
)
(
XH
xp
(
64.0
yp
j
i
j
56.0
56.0
log
2
.1
638
/
bit
symbol
)
(
)
)(
XH
YH
;
(
YXI
XYH
XYH
(
yxp
i
(
yxp
i
)(
YH
14.0
36.0
log)
log
(
)
(
)
)
2
2
j
j
j
i
i
)
14.0
22.0
log
3.07.0
2
3.0
64.0
36.0
log
2
36.0
943
bit
/
symbol
bit
/
symbol
.0
881
.0
log
14.0
08.0
log
2
2
08.0
22.0
log
22.0
2
.0
881
.0
943
.1
638
.0
186
bit
/
symbol
3.4 若 X, Y, Z是三个随机变量，试证明
(1) I(X;YZ) = I(X;Y) + I(X;Z/Y) = I(X;Z) + I(X;Y/Z)；
证明：
(
YZXI
;
)
i
j
k
(
zyxp
j
i
k
log)
i
j
k
(
zyxp
j
i
k
log)
k
j
i
)
(
;
YXI
(
YZXI
;
)
i
j
k
(
zyxp
j
i
log)
k
(
YZXI
/
;
)
(
zyxp
j
i
k
log)
i
j
k
(
zyxp
j
i
k
log)
k
i
)
(
ZXI
j
;
(
zyxp
j
i
log)
k
(
ZYXI
/
;
)
k
)
(
xp
(
xp
/
zy
i
j
(
)
xp
i
/
)
zy
i
j
k
)
(
(
xpxp
/
(
xp
i
(
xp
i
y
)
)
j
i
)
j
i
/
y
)
(
xp
i
/
y
j
i
j
k
k
)
(
xp
(
xp
/
zy
i
j
(
)
xp
i
/
)
zy
i
j
k
)
(
(
xpxp
/
(
)
xp
i
(
xp
i
z
k
)
i
)
i
k
z
/
)
(
xp
i
/
z
k
i
j
k
(
zyxp
j
i
k
log)
)
(
xp
i
(
xp
/
i
zy
j
/
y
j
k
)
(
zyxp
j
i
k
log)
)
(
xp
i
(
xp
/
i
zy
j
/
z
k
k
)
(2) I(X;Y/Z) = I(Y;X/Z) = H(X/Z) – H(X/YZ)；
证明：
(
ZYXI
;
/
)
i
j
k
(
zyxp
j
i
k
log)
i
j
k
(
zyxp
j
i
k
log)
(
xp
i
(
xp
/
(
xp
i
(
xp
i
/
i
zy
j
/
z
k
zy
j
/
z
k
)
k
)
k
)
)
(
zyp
j
(
zyp
j
k
)
k
)
· 19 ·
k
k
k
i
i
i
j
j
j
(
zyxp
j
i
k
log)
(
zyxp
j
i
k
log)
(
zyxp
j
i
k
log)
(
zyxp
j
i
log)
k
j
i
k
;(
/
ZXYI
)
)
k
(
yp
/
z
k
)
j
)
k
)
k
k
k
z
i
)
(
xp
(
zyxp
i
j
)
(
)
/
zp
i
k
(
)
zyxp
j
(
(
/
zxp
yp
i
k
(
)
zyxp
i
j
(
(
)
/
zxp
yp
i
k
)
(
/
yp
zx
j
i
/
(
yp
z
k
)
z
z
k
j
j
k
j
(
ZYXI
/
;
)
(
zyxp
j
i
k
log)
i
k
j
(
xp
i
(
xp
(
xp
i
/
i
/
)
zy
j
/
z
z
k
)
k
)
k
i
j
k
(
zyxp
j
i
k
log)
(
xp
i
/
zy
j
k
)
(
zyxp
j
i
log)
k
j
i
k
j
(
zxp
i
i
k
k
i
(
/
ZXH
)
(
zyxp
j
i
log)
k
k
)
(
xp
XH
(
/
YZ
)
log
(
xp
i
/
z
k
)
XH
(
/
YZ
)
/
z
k
i
)
XH
(
/
YZ
)
(3) I(X;Y/Z) ≥0，当且仅当(X, Y, Z)是马氏链时等式成立。
证明：
(
ZYXI
/
;
)
i
j
k
(
zyxp
j
i
k
log)
(
ZYXI
/
;
)
i
j
k
(
zyxp
j
i
k
log)
)
)
k
/
i
/
(
zy
xp
i
j
k
(
/
)
z
xp
i
k
(
/
z
xp
k
(
zy
xp
i
j
)
/
z
k
zy
j
/
z
k
zy
j
k
)
i
/
i
/
)
)
k
i
(
xp
(
xp
i
(
xp
(
xp
1
e
log
)
2
i
j
k
i
j
k
(
zyxp
j
i
k
)
j
k
(
zyxp
j
i
k
)
(
)
;
ZYXI
/
i
i
0
0
i
(
zyxp
j
i
k
)
log
2
e
j
k
(
zyp
j
k
)
(
xp
i
/
z
k
1)
log
2
e
(
xp
i
/
z
k
1)
log
2
e
当
(
xp
i
(
/
xp
i
/
z
k
zy
j
)
k
)
01
时等式成立
· 20 ·
i
i
i
z
/
(
xp
k
(
)
zyp
k
j
)
(
(
zp
yp
k
(
/
)
z
yp
(
/
)
z
yp
/
)
(
zy
xp
j
(
/
)
z
xp
k
/
)
(
xp
z
j
)
/
(
z
xp
)
/
(
z
xp
)
k
(
(
/
zyp
zy
xp
j
i
k
j
/
)
(
)
zyxp
z
k
k
j
i
(
(
zyxp
zp
i
j
(
/
yxp
i
i
/)
k
)
z
)
k
k
k
k
k
k
k
j
i
i
j
j
)
k
)
所以等式成立的条件是 X, Y, Z 是马氏链
3.5 若三个随机变量，有如下关系：Z = X + Y，其中 X和 Y相互独立，试证明：
(1) I(X;Z) = H(Z) - H(Y)；
(2) I(XY;Z) = H(Z)；
(3) I(X;YZ) = H(X)；
(4) I(Y;Z/X) = H(Y)；
(5) I(X;Y/Z) = H(X/Z) = H(Y/Z)。
解：
1)
YX
Z
(
zp
k
/
x
i
)
(
zp
k
x
i
)
XZH
(
/
)
i
k
(
zxp
i
k
j
(
(
)
yp
z
0
(
z
log)
/
(
zp
2
k
k
k
x
i
x
x
i
)
Y
)
Y
)
i
(
xp
i
)
i
(
xp
)
i
k
j
(
zp
k
/
x
i
log)
2
(
zp
k
/
x
i
)
(
yp
j
log)
2
(
yp
)
j
)
XZH
(
/
)
(
ZH
)
)(
YH
i
)(
YH
(
ZH
)
(
;
ZXI
2)
Z
YX
(
zp
k
/
yx
i
j
)
(
ZH
/
XY
)
i
1
(
x
( 0
x
i
i
j
k
j
)
)
y
y
(
zyxp
j
i
j
k
z
z
k
log)
k
(
zp
k
/
yx
i
j
)
2
i
j
(
yxp
i
j
)
k
(
zp
k
/
yx
i
j
log)
2
(
zp
k
/
yx
i
j
)
0
)
(
;
ZH
ZXY
(
I
)
(
ZH
/
XY
)
(
ZH
0)
(
ZH
)
3)
· 21 ·
Z
YX
(
xp
i
/
zy
j
k
)
XH
(
/
YZ
)
i
1
x
0
x
i
i
j
k
j
j
k
y
z
z
y
(
zyxp
j
k
i
log)
2
(
xp
i
/
zy
j
k
)
k
j
k
(
zyp
j
k
)
i
(
xp
i
/
zy
j
k
log)
2
(
xp
i
/
zy
j
k
)
0
)
(
;
XH
YZXI
(
)
XH
(
/
YZ
)
XH
(
0)
XH
(
)
4)
Z
YX
(
yp
/
zx
i
k
)
j
(
YH
/
XZ
)
j
1
y
0
y
j
i
j
k
i
k
z
z
x
x
(
zyxp
j
k
i
k
i
log)
2
(
yp
j
/
zx
i
k
)
i
k
(
zxp
i
k
)
j
(
yp
j
/
zx
i
k
log)
2
(
yp
j
/
zx
i
k
)
;(
/
XZYI
0
)
XYH
(
/
)
(
YH
/
XZ
)
YH
0)(
)(
YH
5)
Z
YX
(
xp
i
/
zy
j
k
)
XH
(
/
YZ
)
i
1
x
0
x
i
i
j
k
k
y
z
z
y
(
zyxp
j
k
i
j
j
log)
2
k
(
xp
i
/
zy
j
k
)
j
k
(
zyp
j
k
)
i
(
xp
i
/
zy
j
k
log)
2
(
xp
i
/
zy
j
k
)
(
/
;
ZYXI
0
)
Z
YX
ZXH
(
/
)
XH
(
/
YZ
)
ZXH
(
/
0)
ZXH
(
/
)
(
yp
/
zx
i
k
)
j
(
YH
/
XZ
)
j
1
y
0
y
j
i
j
k
i
k
z
z
x
x
(
zyxp
j
k
i
k
i
log)
2
(
yp
j
/
zx
i
k
)
i
k
(
zxp
i
k
)
j
(
yp
j
/
zx
i
k
log)
2
(
yp
j
/
zx
i
k
)
(
/
;
ZYXI
0
)
· 22 ·
ZYH
(
/
)
(
YH
/
XZ
)
ZYH
(
/
0)
ZYH
(
/
)
3.6 有一个二元对称信道，其信道矩阵为
98.0
02.0
02.0
98.0
。设该信源以 1500 二元符号/秒的速度
传输输入符号。现有一消息序列共有 14000 个二元符号，并设 P(0) = P(1) = 1/2，问从消
息传输的角度来考虑，10 秒钟内能否将这消息序列无失真的传递完？
解：
信道容量计算如下：
(
;
)
C
YXI
98.0(2
bit
也就是说每输入一个信道符号，接收到的信息量是 0.859 比特。已知信源输入 1500 二元符号/秒，那
么每秒钟接收到的信息量是：
)(
)
/
(
YH
XYH
02.0
98.0
log
max
log
symbol
max
log
.0
H
)02.0
2
859
)(
Y
H
max
mi
/
2
2
I
1
1500
symbol
/
s
.0
859
bit
/
symbol
1288
bit
/
s
现在需要传送的符号序列有 140000 个二元符号，并设 P(0) = P(1) = 1/2，可以计算出这个符号序列的
信息量是
2
log
log
5.05.0
14000
5.0(
I
14000
bit
要求 10 秒钟传完，也就是说每秒钟传输的信息量是 1400bit/s，超过了信道每秒钟传输的能力（1288
bit/s）。所以 10 秒内不能将消息序列无失真的传递完。
)5.0
2
3.7 求下列各离散信道的容量（其条件概率 P(Y/X)如下：）
(1) Z 信道
(2) 可抹信道
(3) 非对称信道 (4) 准对称信道
1
s 1
0
s
1
s
1
s
2
s
2
s
1
s
1
s
s
1
2
1
s
2
1
2
1
4
1
2
3
4
1
3
1
6
1
3
1
3
1
6
1
6
1
6
1
3
解：
1) Z 信道
这个信道是个一般信道，利用一般信道的计算方法：
a. 由公式
log)
(
yp
(
yp
(
yp
)
/
/
/
x
i
j
x
i
j
2
j
j
x
i
)
j
，求βj
j
log
1
2
log
s
s
2
0
1
2
1
1
1
1(
s
log)
2
1(
s
)
s
1
1(
s
)
2
s
log
2
s
log
2
1(
s
)
log
2
s
1(
)
ss
1
s
s
b. 由公式
C
log2
j
2
j
，求 C
C
log
2
2
j
j
log
2
1(1
s
1
s
)
ss
bit
/
symbol
· 23 ·
c. 由公式
(
yp
)
j
2
j
C
，求 p(yj)
(
yp
1
)
2
1
C
1
1(1
(
yp
)
2
2
2
C
d. 由公式
(
yp
)
j
由方程组：
1(
)
ss
1(1
i
s
s
1
)
ss
s
1
s
s
s
)
ss
1
(
(
ypxp
)
i
/
x
i
)
j
，求 p(xi)
(
yp
1
(
yp
2
)
)
(
xp
1
(
xp
)
1)(
2
(
)
sxp
s
2
)
解得
(
xp
1
)
(
xp
2
)
s
s
1
1
s
s
1
s
)
ss
s
s
1(1
1
s
1(1
)
ss
1
s
s
因为 s 是条件转移概率，所以 0 ≤ s ≤ 1，从而有 p(x1)，p(x2) ≥ 0，保证了 C 的存在。
2) 可抹信道
可抹信道是一个准对称信道，把信道矩阵分解成两个子矩阵如下：
M
1
1
s
1
s
2
s
2
1
2
,
M
2
s
1
s
1
C
max
;
(
YXI
)
(
ypm
log)
2
k
(
yp
k
)
H
mi
k
s
s
2
s
1
s
1
k
)
x
1
)
x
1
)
x
1
/
/
/
2
(
(
ypxp
1
(
(
ypxp
(
(
ypxp
)
)
)
2
2
2
3
/
x
2
/
x
/
x
1(
)
)
s
)
s
1
2/)
s
s
1
2
1(2/
s
1
2/
2/
s
s
1
1
2
2
2
2/
2/)
1
s
1
1
s
1
2/
2/
2
2
s
s
2
j
k
j
1
1
1
(
(
)
ypxp
1
)
(
(
ypxp
)
(
(
ypxp
3
(
)
yp
(
)
Myp
m
k
(
yp
(
)
Myp
m
1
(
yp
(
)
Myp
m
2
)
)
j
j
1
2
j
j
(
yp
1
(
yp
(
yp
2
3
)
)
)
(
yp
k
)
(
yp
1
)
(
yp
2
)
2
k
1
C
· 24 ·
(
yp
1
)
2
(
yp
)
2
1
2/
s
1
)
3
(
yp
1
s
1
(
ypm
k
k
log)
2
(
yp
k
)
H
mi
相关推荐
2023年江西萍乡中考道德与法治真题及答案.doc
2012年重庆南川中考生物真题及答案.doc
2013年江西师范大学地理学综合及文艺理论基础考研真题.doc
2020年四川甘孜小升初语文真题及答案I卷.doc
2020年注册岩土工程师专业基础考试真题及答案.doc
2023-2024学年福建省厦门市九年级上学期数学月考试题及答案.doc
2021-2022学年辽宁省沈阳市大东区九年级上学期语文期末试题及答案.doc
2022-2023学年北京东城区初三第一学期物理期末试卷及答案.doc
2018上半年江西教师资格初中地理学科知识与教学能力真题及答案.doc
2012年河北国家公务员申论考试真题及答案-省级.doc
2020-2021学年江苏省扬州市江都区邵樊片九年级上学期数学第一次质量检测试题及答案.doc
2022下半年黑龙江教师资格证中学综合素质真题及答案.doc
