第1页 / 共41页
第2页 / 共41页
第3页 / 共41页
第4页 / 共41页
第5页 / 共41页
第6页 / 共41页
第7页 / 共41页
第8页 / 共41页
信息论与编码(第二版)曹雪虹(最全版本)答案.doc
《信息论与编码（第二版）》曹雪虹答案
第二章
2.1 一个马尔可夫信源有 3 个符号
u u u ，转移概率为：
p u u ，
1/ 2
,
1,
|
2
3
1
1
p u u ，
1/ 2
|
2
1
p u u ，
p u u ，
1/ 3
p u u ，
p u u ，
2 / 3
p u u ，
1/ 3
0
0
|
|
|
|
|
1
2
2
2
3
1
3
2
1
3
p u u ，
2 / 3
|
2
3
p u u ，画出状态图并求出各符号稳态概率。
0
|
3
3
解：状态图如下
1/2
u1
1/2
1/3
u2
1/3
2/3
2/3
u3
状态转移矩阵为：
p
1/ 2 1/ 2
1/ 3
0
1/ 3 2 / 3
0
2 / 3
0
设状态 u1，u2，u3 稳定后的概率分别为 W1，W2、W3
由
WP W
W W W
2
1
得
3 1
W W
3
1
2
计算可得
2
1
3
W W
3
1
1
W
W
W
1
3
2
3
W W
1
2
1
2
2
3
W W W
2
3
1
2
1
3
W
W
W
1
2
3
10
25
9
25
6
25
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为： (0 | 00)
p
=0.8， (0 |11)
p
=0.2，
p
(1| 00)
=0.2， (1|11)
p
=0.8， (0 | 01)
p
=0.5， (0 |10)
p
=0.5， (1| 01)
p
=0.5， (1|10)
p
=0.5。画出状态
图，并计算各状态的稳态概率。
解： (0 | 00)
p
p
(00 | 00) 0.8
p
(0 | 01)
p
(10 | 01) 0.5
p
(0 |11)
p
(10 |11) 0.2
p
(0 |10)
p
(00 |10) 0.5
p
(1| 00)
p
(01| 00) 0.2
p
(1| 01)
p
(11| 01) 0.5
p
(1|11)
p
(11|11) 0.8
p
(1|10)
p
(01|10) 0.5
于是可以列出转移概率矩阵：
p
状态图为：
0.8 0.2
0
0
0.5 0.5
0
0
0
0
0.5 0.5
0
0
0.2 0.8
概率为 W1,W2,W3,W4 有
设各状态 00，01，10，11 的稳态分布
WP W
4
W
1
1i
i
得
1
3
1
3
1
0.8
W W
0.2
W W
0.5
W W
0.5
W W
W W W W
3
1
4
0.5
0.5
0.2
0.8
W
W
W
W
4
4
2
2
2
计算得到
2
3
4
1
W
W
W
W
1
2
3
4
5
14
1
7
1
7
5
14
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求：
(1) “3 和 5 同时出现”这事件的自信息；
(2) “两个 1 同时出现”这事件的自信息；
(3) 两个点数的各种组合（无序）对的熵和平均信息量；
(4) 两个点数之和（即 2, 3, … , 12 构成的子集）的熵；
(5) 两个点数中至少有一个是 1 的自信息量。
1
1
6
6
log
1
6
(
xp
)
i
1
6
1
18
log
(2)
(
xp
i
)
(
xI
i
)
1
18
.4
170
bit
1
1
6
6
log
(
xp
1
36
)
i
log
1
36
.5
170
bit
解：(1)
(
xp
i
)
(
xI
i
)
(3)
两个点数的排列如下：
11
21
31
41
51
61
12
22
32
42
52
62
13
23
33
43
53
63
14
24
34
44
54
64
15
25
35
45
55
65
16
26
36
46
56
66
共有 21 种组合：
其中 11，22，33，44，55，66 的概率是
1
6
XH
(
)
i
(
xp
i
log)
(
xp
i
)
6
1
36
log
1
36
15
1
6
1
18
1
36
1
18
其他 15 个组合的概率是
12
6
1
6
1
18
.4
337
bit
/
symbol
log
(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
XH
X
(
)
XP
)
(
2
1
36
3
1
18
(
xp
4
1
12
log)
i
5
1
9
(
xp
i
6
5
36
7
1
6
8
5
36
9
1
9
10
1
12
11
1
18
12
1
36
)
i
(5)
2
1
36
274
.3
bit
/
symbol
log
1
36
2
1
18
log
1
18
2
1
12
log
1
12
12
9
log
1
9
2
5
36
log
5
36
1
6
log
1
6
11
1
1
6
6
log
(
xp
i
)
11
36
log
11
36
.1
710
bit
(
xp
i
)
(
xI
i
)
2-4
2.5 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，
而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某
女孩是大学生”的消息，问获得多少信息量？
解：
设随机变量 X 代表女孩子学历
X
x1（是大学生） x2（不是大学生）
P(X)
0.25
0.75
设随机变量 Y 代表女孩子身高
Y y1（身高>160cm）y2（身高<160cm）
P(Y)
0.5
0.5
已知：在女大学生中有 75%是身高 160 厘米以上的
即：
(
yp
1
/
x
1
)
75.0
bit
求：身高 160 厘米以上的某女孩是大学生的信息量
即：
(
xI
1
/
y
1
)
log
(
xp
1
/
y
1
)
log
/
x
1
)
1
)
(
(
ypxp
1
(
)
yp
1
log
25.0
75.0
5.0
.1
415
bit
2.6 掷两颗骰子，当其向上的面的小圆点之和是 3 时，该消息包含的信息量是多少？当
小圆点之和是 7 时，该消息所包含的信息量又是多少？
解：
1）因圆点之和为 3 的概率
( )
p x
p
(1,2)
p
(2,1)
1
18
该消息自信息量 ( )
I x
log ( )
p x
2）因圆点之和为 7 的概率
log18 4.170
bit
( )
p x
p
(1,6)
p
(6,1)
p
(2,5)
p
(5,2)
p
(3,4)
p
(4,3)
1
6
该消息自信息量 ( )
I x
log ( )
p x
log 6 2.585
bit
2.7 设有一离散无记忆信源，其概率空间为
X
P
x
1
3/8
0
1
x
2
1/ 4
2
x
3
1/ 4
x
4
1/8
3
（1）求每个符号的自信息量
（2）信源发出一消息符号序列为{202
120
130
213
001
203
210
110
321
010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量
(
)
I x
解： 1
log
2
1
)
(
p x
1
log
2
8
3
1.415
bit
(
I x
同理可以求得 2
)
2
, (
bit I x
)
3
2
, (
bit I x
) 3
3
bit
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和
I
14 (
I x
) 13 (
I x
1
) 87.81
就有：
4
平均每个符号携带的信息量为 87.81 1.95
) 12 (
I x
2
) 6 (
I x
3
45
bit
bit/符号
2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？
解：
四进制脉冲可以表示 4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示 8 个不
同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}
二进制脉冲可以表示 2 个不同的消息，例如：{0, 1}
假设每个消息的发出都是等概率的，则：
四 进 制 脉 冲 的 平 均 信 息 量
XH
(
1
)
log
n
log
24
bit
/
symbol
八 进 制 脉 冲 的 平 均 信 息 量
XH
(
2
)
log
n
log
38
bit
/
symbol
二进制脉冲的平均信息量
XH
(
0
)
log
n
log
12
bit
/
symbol
所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。
2-9 “－” 用三个脉冲 “●”用一个脉冲
(1)
I(●)= Log 4( )
2
I(－)＝ Log
2-10
H(Y/黑)=
(3) P(黑/白)=
P(白/白)=
(2) H= 1
4
0.415
4
3
(2) P(黑/黑)=
4
3
0.811
Log 4( )
3
4
Log
P(白/黑)=
H(Y/白)=
(4) P(黑)=
P(白)=
H(Y)=
2.11 有一个可以旋转的圆盘，盘面上被均匀的分成 38 份，用 1，…，38 的数字标示，其
中有两份涂绿色，18 份涂红色，18 份涂黑色，圆盘停转后，盘面上的指针指向某一数字
和颜色。
（1）如果仅对颜色感兴趣，则计算平均不确定度
（2）如果仅对颜色和数字感兴趣，则计算平均不确定度
（3）如果颜色已知时，则计算条件熵
解：令 X 表示指针指向某一数字，则 X={1,2,……….,38}
Y 表示指针指向某一种颜色，则 Y={l 绿色，红色，黑色}
Y 是 X 的函数，由题意可知 (
p x y
i
j
)
(
p x
i
)
（1）
( )
H Y
3
j
1
(
p y
)log
j
1
(
p y
)
j
2
38
log
38
2
2
18
38
log
38
18
1.24
bit/符号
（2）
,
H X Y
(
)
H X
(
)
log 38 5.25
2
bit/符号
（3） (
H X Y
|
)
( )
H X Y H Y
(
)
,
H X H Y
( ) 5.25 1.24
(
)
4.01
bit/符号
2.12 两个实验 X 和 Y，X={x1 x2 x3},Y={y1
y2 y3},l 联合概率
,i
r x y
j
r 为
ij
11
r
r
21
r
31
r
12
r
22
r
32
r
13
r
23
r
33
0
7 / 24 1/ 24
1/ 24
1/ 4
1/ 24
1/ 24 7 / 24
0
（1）如果有人告诉你 X 和 Y 的实验结果，你得到的平均信息量是多少？
（2）如果有人告诉你 Y 的实验结果，你得到的平均信息量是多少？
（3）在已知 Y 实验结果的情况下，告诉你 X 的实验结果，你得到的平均信息量是多少？
解：联合概率 (
p x y 为
)
,
i
j
y1
y2
y3
,
H X Y
(
)
ij
24
7
2
2
7
24
log
4
1
24
=2.3bit/符号
log 4
2
(
,
p x y
i
)log
j
2
1
(
)
,
p x y
j
i
1
4
log 24
2
Y
X
X
P
Y
P
x1
x2
x3
7/24
1/24
0
1/24
1/4
1/24
0
1/24
7/24
X 概率分布
x1
x2
x3
( ) 3
H Y
H X Y
(
|
)
=0.72bit/符号
8/24
8/24
8/24
y1
y2
y3
8/24
8/24
8/24
bit/符号
2
log 3 1.58
1
3
( )
H X Y H Y
(
)
,
2.3 1.58
Y 概 率 分 布 是
2.13 有两个二元随机变量 X和 Y，它们的联合概率为
Y
X
x1=0
y1=0
y2=1
1/8
3/8
x2=1
3/8
1/8
并定义另一随机变量 Z = XY（一般乘积），试计算：
(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和 H(XYZ)；
(2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和 H(Z/XY)；
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y)。
解：
(1)
(
xp
1
)
(
yxp
11
)
(
yxp
1
2
)
(
xp
2
)
)
(
yxp
2
2
)
XH
(
)
(
xp
log)
i
(
xp
i
(
yxp
2
1
i
(
yp
1
)
(
yxp
11
)
(
yxp
2
1
)
(
yp
2
)
)
2
(
yxp
2
2
)
)(
YH
(
yp
log)
(
yp
j
j
(
yxp
1
j
1
8
3
8
1)
3
8
1
8
bit
1
2
1
2
symbol
/
1
8
3
8
1)
3
8
1
8
bit
/
1
2
1
2
symbol
Z = XY 的概率分布如下：
Z
(
ZP
)
(
ZH
)
z
1
2
k
0
z
2
7
8
(
zp
k
)
1
8
1
7
8
log
7
8
1
8
log
1
8
.0
544
bit
/
symbol
(
(
)
zxp
xp
11
1
0)
(
zxp
21
)
(
(
xp
zxp
1
11
(
(
)
zxp
zp
11
1
)
(
zxp
21
)
5.0)
)
(
zxp
12
)
5.0
3
8
7
8
)
(
zxp
12
)
(
zp
2
)
(
zp
1
(
zxp
21
)
)
(
zxp
22
)
(
zp
)
2
XZH
(
)
i
k
)
(
zxp
11
(
zxp
22
1
8
(
zxp
i
k
log)
(
zxp
i
k
)
1
2
log
1
2
3
8
log
3
8
1
8
log
1
8
.1
406
bit
/
symbol
相关推荐
2023年江西萍乡中考道德与法治真题及答案.doc
2012年重庆南川中考生物真题及答案.doc
2013年江西师范大学地理学综合及文艺理论基础考研真题.doc
2020年四川甘孜小升初语文真题及答案I卷.doc
2020年注册岩土工程师专业基础考试真题及答案.doc
2023-2024学年福建省厦门市九年级上学期数学月考试题及答案.doc
2021-2022学年辽宁省沈阳市大东区九年级上学期语文期末试题及答案.doc
2022-2023学年北京东城区初三第一学期物理期末试卷及答案.doc
2018上半年江西教师资格初中地理学科知识与教学能力真题及答案.doc
2012年河北国家公务员申论考试真题及答案-省级.doc
2020-2021学年江苏省扬州市江都区邵樊片九年级上学期数学第一次质量检测试题及答案.doc
2022下半年黑龙江教师资格证中学综合素质真题及答案.doc
