第1页 / 共91页
第2页 / 共91页
第3页 / 共91页
第4页 / 共91页
第5页 / 共91页
第6页 / 共91页
第7页 / 共91页
第8页 / 共91页
信息论与编码（傅祖芸）答案.pdf
第二章
第三章
第四章
第五章
第六章
第八章
第二章课后习题
【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，
但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪
一枚是假币，试问至少必须称多少次？
解：从信息论的角度看，
“12 枚硬币中，某一枚为假币”该事件发生的概率为
“假币的重量比真的轻，或重”该事件发生的概率为
1=P
；
12
1=P ；
2
为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独 立的，因
此有
=I
log
12
+
log
2
=
log
24
比特
而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为
1=P ，因此天
3
平每一次消除的不确定性为
log=I
3
比特
因此，必须称的次数为
I
I
1
2
=
log
log
24
3
9.2
次
因此，至少需称 3 次。
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之
和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？
解：
“两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，
因此该种情况发生的概率为
1
·=P
6
1
6
=
1
36
，该事件的信息量为：
»
=I
log
36
17.5
比特
“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和 2，概
率为
1
·=P
6
1
6
=
5
5
36
，因此该事件的信息量为：
=I
log
36
5
85.2
比特
“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为
1
·=P
6
1
6
=
2
1
18
，
因此该事件的信息量为：
=I
log
18
17.4
比特
【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有
多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多
少信息量（假设已知星期一至星期日的顺序）？
解：
如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为
1=P ，因此此时从答案中获得的信息量为
7
=I
log =
7
.2
807
比特
而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得
的信息量为 0 比特。
【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，
而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学
生”的消息，问获得多少信息量？
解：
设 A 表示女孩是大学生，
=AP
(
)
25.0
；
B 表示女孩身高 1.6 米以上，
=ABP
(
)
|
75.0
，
=BP
(
)
5.0
“身高 1.6 米以上的某女孩是大学生”的发生概率为
»
·
»
·
»
BAP
(
|
)
=
ABP
(
)
BP
)
(
=
ABPAP
(
)
|
(
)
BP
(
)
=
25.0
75.0
5.0
=
.0
375
已知该事件所能获得的信息量为
=I
log
【2.5】设离散无记 忆信源
X
xP
)(
=œ
1
375.0
=
a
0
1
8/3
.1
415
比特
1
=
a
2
4/1
2
=
a
3
4/1
3
=
a
4
8/1
，其发出的消息为
（202120130213001203210110321010021032011223210），求
（1） 此消息的自信息是多少？
（2） 在此消息中平均每个符号携带的信息量是多少？
解：
信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息
即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：
=aI
( 0
=
)0
log
.1
415
比特
=aI
( 1
)1
=
log
2
比特
=
8
3
=
4
=aI
( 2
=
)2
log
4
=
2
比特
=aI
( 3
=
)3
log
8
=
3
比特
在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3”
符号，则得到消息的自信息为：
=I
14
.1
415
+
13
2
+
12
·+
362
81.87
比特
45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为
=I
81.87
45
=
95.1
比特/符号
注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的
信息量，后者是信息熵，可计算得
XH
(
)
-=
xP
log)(
xP
91.1)(
=
比特/符号
·
»
œ
ß
ø
Œ
º
Ø
ß
ø
Œ
º
Ø
»
·
·
·
【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格内，
且它们的坐标分别为（XA,YA）和（XB,YB），但 A 和 B 不能落入同一方格内。
（1） 若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？
（2） 若已知 A 已落入，求 B 落入的平均自信息量。
（3） 若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。
解：
（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一
格的概率空间为：
平均自信息量为
X
P
=œ
a
1
1
48
a
2
1
48
a
3
1
48
L a
48
1
48
L
=AH
)
(
log
48
=
58.5
比特/符号
（2）已知质点 A 已落入，求 B 落入的平均自信息量，即求
A 已落入，B 落入的格可能有 47 个，条件概率
bP
(
j a
|
i
)
均为
|
。
ABH
(
)
1 。平均自信息量为
47
ABH
)
(
|
-=
48
47
=
1
i
=
1
j
bPaP
(
(
)
i
|
a
i
j
log)
bP
(
|
a
i
)
j
=
log
47
=
55.5
比特/符号
（3）质点 A 和 B 同时落入的平均自信息量为
ABH
(
)
=
ABHAH
)
(
)
(
+
|
=
13.11
比特/符号
【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果
你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是“否”，问这
两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，
则答案中含有的平均自信息量是多少？
解：
œ
œ
ß
ø
Œ
Œ
º
Ø
ß
ø
Œ
º
Ø
男同志红绿色盲的概率空间为：
X
P
=œ
a
1
07.0
a
2
93.0
问男同志回答“是”所获昨的信息量为：
=I
log
1
07.0
836.3
比特/符号
问男同志回答“否”所获得的信息量为：
=I
log
1
93.0
.0
105
比特/符号
男同志平均每个回答中含有的信息量为
XH
(
)
-=
xP
log)(
xP
)(
=
.0
366
比特/符号
同样，女同志红绿色盲的概率空间为
Y
P
=œ
b
1
005.0
2
b
995.0
问女同志回答“是”所获昨的信息量为：
=I
log
1
005.0
64.7
比特/符号
问女同志回答“否”所获昨的信息量为：
=I
log
1
995.0
23.7
310
比特/符号
女同志平均每个回答中含有的信息量为
YH
)(
-=
xP
log)(
xP
)(
=
.0
045
比特/符号
【2.8】设信源
X
xP
)(
=œ
a
a
2
1
19.02.0
a
3
18.0
a
4
17.0
a
5
16.0
a
6
17.0
，求此信源的熵，并解释为什
么
>XH
)
(
log
6
，不满足信源熵的极值性。
解：
XH
(
)
-=
xP
log)(
xP
)(
=
65.2
>
log
6
原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。
œ
ß
ø
Œ
º
Ø
ß
ø
Œ
º
Ø
»
»
œ
ß
ø
Œ
º
Ø
ß
ø
Œ
º
Ø
»
-
·
»
œ
ß
ø
Œ
º
Ø
ß
ø
Œ
º
Ø
【 2.9 】 设 离 散无 记 忆 信 源 S 其 符 号 集
A =
aa
,{
1
2
,...,
qa
}
， 知 其 相 应 的概 率 分 别 为
(
PP
2
1
,
,...,
qP
)
。 设 另 一 离散无 记 忆 信 源 S¢ ， 其 符号 集 为 S 信 源 符号 集 的 两 倍 ，
=¢
A
i =
ia
,{
2,1
,...,
q
}2
，并且各符号的概率分布满足
=¢
=¢
P
i
P
i
1(
P
e
i
e
)
iP
i
i
=
2,1
+=
q
q
,...,
+
q
,1
2
2
,...,
q
试写出信源 S¢ 的信息熵与信源 S 的信息熵的关系。
解：
)
e
SH
(
-=
-=
-=
=
-=¢
)
1(
1(
)
e
1(
)
e
+
HSH
)(
P
i
P
i
1
log(
1,(
e
xP
log)(
log(
1
e
1
log(
e
)
e
e
e
)
xP
)(
P
)
i
)
log
1(
e
+
log
P
i
P
e
i
log
P
e
i
)
e
SH
)(
P
i
e
P
i
log
e
e
P
i
log
P
i
【2.10】设有一概率空间，其概率分布为
{
pp
1
,
2
,...,
qp
}
，并有
p > 。若取
p
2
1
=¢
p
1
p
1
e-
，
p
=¢
2
p
2
e+
，其中
0
< e
2
p -
1
p
2
，而其他概率值不变。试证明由此所得新的概率空间的
熵是增加的，并用熵的物理意义加以解释。
解：
设新的信源为 X ¢ ，新信源的熵为：
XH
(
-=¢
)
p
i
log
p
i
-=
(
p
1
e
)
log(
p
1
e
)
+
(
p
2
e
)
log(
p
2
+
)
Le
p
q
log
p
q
原信源的熵
XH
(
)
-=
p
i
log
p
i
-=
p
1
log
p
1
p
2
log
p
2
L
p
q
log
p
q
因此有，
XH
(
)
XH
(
=¢
)
(
p
1
e
)
log(
p
1
+
e
)
(
p
2
+
e
)
log(
p
2
+
e
)
p
1
log
p
1
p
2
log
p
2
令
xf
)(
=
(
p
1
x
)
log(
p
1
+
x
)
(
p
2
+
x
)
log(
p
2
+
x
)
，
x
,0
p
1
p
2
2
，则
f
x
)(
=
log
p
2
p
1
+
x
x
0
-
-
-
-
-
-
-
-
-
-
-
-
-
-
£
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
Ł
œ
ß
ø
-
˛
£
-
¢
即函数 )(xf 为减函数，因此有
f
)0(
ef
)(
，即
(
p
1
e
)
log(
p
1
+
e
)
(
p
2
+
e
)
log(
p
2
+
e
)
p
1
log
p
1
+
p
2
log
p
2
因此
XH
(
)
XH
(
)
成立。
【解释】
当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。
【2.11】试证明：若
L
=
1
i
=
ip ，
1
q =
j
p
L
，则
m
=1
j
ppH
(
,
1
,
K
,
p
2
L
1
,
p
L
+
)
ppH
(
,
1
,
K
,
p
2
L
1
,
qq
,
1
2
,
K
,
q
m
)
=
并说明等式的物理意义。
解：
qHp
(
p
L
1
L
,
q
p
2
L
,
K
,
q
m
p
L
)
,
(
ppH
,
2
-=
log
-=
log
log
log
log
log
1
p
1
p
1
q
1
p
1
q
1
p
1
-=
-=
q
1
log
-=
p
1
log
+
p
L
(
K
p
1
p
1
q
1
p
1
q
1
p
1
q
1
p
L
p
1
q
1
p
L
,
2
,
p
L
p
p
q
2
p
q
2
p
2
1
qq
,
,
1
p
log
p
log
2
q
log
log
2
q
log
log
2
p
2
2
2
2
m
K
q
,
K
K
K
K
K
K
q
q
)
p
p
m
p
m
p
L
1
L
1
log
L
1
log
L
1
2
L
2
p
2
q
p
p
2
q
p
2
L
q
2
log
p
log
log
2
q
1
p
L
=
ppH
(
,
1
,
K
,
p
2
L
1
,
p
L
)
q
1
p
q
log
1
p
log
q
+
L
log
2
p
q
2
log
L
K
q
m
log
q
m
p
L
L
p
L
log
p
L
+
(
q
1
+
q
2
+
q
3
+
+
L
q
m
log)
p
L
p
L
log
p
L
1
1
1
1
1
L
L
L
L
p
p
p
log
log
q
m
log
q
m
p
log
q
m
p
L
p
L
q
m
p
q
p
log
,
2
L
L
L
K
q
m
log
K
p
L
1
q
log
2
K
p
qHp
(
1
p
m
L
L
+
log
p
L
p
L
q
m
p
q
m
p
L
L
log
,
K
,
)
)
【意义】
将原信源中某一信源符号进行分割，而分割后的符号概率之和等于被分割的原符号的
概率，则新信源的信息熵增加，熵所增加的一项就是由于分割而产生的不确定性量。
【2.12】（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用 5×105 个
‡
£
-
-
¢
£
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
像素和 10 个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送 30
帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。
（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有 30 个不同的色
彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大 2.5 倍。
解：
每个像素的电平取自 10 个不同的电平，每一个像素形成的概率空间为：
X
P
=œ
a
1
1
10
a
2
1
10
L a
10
1
10
L
这样，平均每个像素携带的信息量为：
=XH
(
)
log
10
=
32.3
比特/像素
现在所有的像素点之间独立变化的，因此，每帧图像含有的信息量为：
XH
(
N
)
=
XNH
(
)
·=
5
5
10
log
10
=
66.1
6
10
比特/帧
按每秒传输 30 帧计算，每秒需要传输的比特数，即信息传输率为：
30
NXH
(
)
=
98.4
710
比特/秒
除满足黑白电视系统的要求外，还需 30 个不同的色彩度，不妨设每个色彩度等概率出
现，则其概率空间为：
Y
P
=œ
b
1
1
30
b
2
1
30
L b
30
1
30
L
其熵为 30
log 比特/符号，由于电平与色彩是互相独立的，因此有
XYH
(
)
=
XH
(
)
+
YH
)(
=
log
300
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
XYH
(
)
XH
(
)
=
log
log
300
10
5.2
œ
œ
ß
ø
Œ
Œ
º
Ø
ß
ø
Œ
º
Ø
·
·
·
·
œ
œ
ß
ø
Œ
Œ
º
Ø
ß
ø
Œ
º
Ø
»
相关推荐
2023年江西萍乡中考道德与法治真题及答案.doc
2012年重庆南川中考生物真题及答案.doc
2013年江西师范大学地理学综合及文艺理论基础考研真题.doc
2020年四川甘孜小升初语文真题及答案I卷.doc
2020年注册岩土工程师专业基础考试真题及答案.doc
2023-2024学年福建省厦门市九年级上学期数学月考试题及答案.doc
2021-2022学年辽宁省沈阳市大东区九年级上学期语文期末试题及答案.doc
2022-2023学年北京东城区初三第一学期物理期末试卷及答案.doc
2018上半年江西教师资格初中地理学科知识与教学能力真题及答案.doc
2012年河北国家公务员申论考试真题及答案-省级.doc
2020-2021学年江苏省扬州市江都区邵樊片九年级上学期数学第一次质量检测试题及答案.doc
2022下半年黑龙江教师资格证中学综合素质真题及答案.doc
