课后答案网,用心为你服务! 大学答案 --- 中学答案 --- 考研答案 --- 考试答案 最全最多的课后习题参考答案,尽在课后答案网(www.khdaw.com)! Khdaw团队一直秉承用心为大家服务的宗旨,以关注学生的学习生活为出发点, 旨在为广大学生朋友的自主学习提供一个分享和交流的平台。 爱校园(www.aixiaoyuan.com) 课后答案网(www.khdaw.com) 淘答案(www.taodaan.com) 课后答案网 www.khdaw.com
第二章部分习题
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
答:2 倍,3 倍。
2.2 一副充分洗乱了的牌(含 52 张牌),试问
(1) 任一特定排列所给出的信息量是多少?
(2) 若从中抽取 13 张牌,所给出的点数都不相同, 能得到多少信息量?解:(1)
log 2
(2) 任取 13 张,各点数不同的概率为 ,信息量:9.4793(比特/符号)
!52
!13
C
13
52
%25
2.3 居住某地区的女孩子有 是大学生,在女大学生中有 是身高 160 厘
米上的,而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身
高 160 厘米以上的某女孩是大学生”的消息,问获得多少信息量?
答案:1.415 比特/符号。提示:设事件 A 表示女大学生,事件 C 表示 160CM
75%
以上的女孩,则问题就是求 p(A|C),
ACpCAp
(
)
(
Cp
(
)
=
)
|
=
ACpAp
(
)
|
)
(
Cp
)
(
1
4
=
3
4
×
1
2
=
3
8
2.4 设 离 散 无 忆 信 源
X
)
(
P X
⎞
⎟
⎠
⎛
⎜
⎝
a
0
=
⎧
1
= ⎨
3/8
⎩
a
1
=
2
1/ 4
a
2
=
3
1/ 4
3
a
=
4
1/8
⎫
⎬
⎭
(202120130213001203210110321010021032011223210)
,求
, 其 发 出 的 消 息 为
(1) 此消息的自信息量是多少?
(2) 在此消息中平均每个符号携带的信息量是多少?
解:(1)87.81 比特,
(2)1.951 比特。
提示:先计算此消息出现的概率,再用自信息量除以此消息包含的符号总
数(共 45 个)。
2.5 从大量统计资料知道,男性中红绿色盲的发病率为
,女性发病率为
,如果你问一位男士:“你是否是色盲?”他的回答可能是“是”,可能
0.5%
是“否”,问这两个回答中各含有多少信息量?平均每个回答中含有多少信息
量?如果问一位女士,则答案中含有的平均自信息量是多少?
7%
(1) 男性回答是的信息量为
−
log 0.07 3.8369
=
比特
2
,回答否的信息量是 0.1047
1
课后答案网 www.khdaw.com
比特,平均每个回答含的信息量(即熵)是 0.36596 比特。
0.045425 比特
(2)
2.6 设信源
⎛
⎜
⎝
)
H X >
X
⎞
⎟
(
)
P X
⎠
log 6
(
么
⎧
= ⎨
⎩
a
2
a
a
6
1
0.2 0.19 0.18 0.17 0.16 0.17
a
4
a
5
a
3
,求这信源的熵,并解释为什
⎫
⎬
⎭
不满足信源熵的极值性。
提示:信源的概率之和大于 1。
2.7 同时掷两个正常的骰子,也就是各面呈现的概率都为 ,求:
1/ 6
(1) “3 和 5 同时出现”这事件的自信息量;
(2) “两个 1 同时出现”这事件的自信息量;
(3) 两个点数的各种组合(无序对)的熵或平均信息量;
(4) 两个点数之和(即
(5) 两个点数中至少有一个是 1 的自信息量。
解:(1) 4.17(比特/符号),提示:3 和 5 同时出现的概率为
1
6
(2) 5.17(比特/符号),提示:两个 1 同时出现的概率 1/36
(3) “两个点数相同”的概率:1/36,共有 6 种情况;
构成的子集)的熵;
2,3 12L
××
2
=1/18
1
6
“两个点数不同”的概率:1/18,共有 15 中情况.故平均信息量为:
6
36
log 36
4.337 比特/符号
(4) 3.274(比特/符号)。提示:信源模型
log 18
15
18
+
=
2
2
2
1
36
3
1
18
4
1
12
5
1
9
6
5
36
7
1
6
8
5
36
⎧
⎨
⎩
9 10 11 12
1
1
1
12
1
18
⎫
⎬
⎭
36
9
(5) 1.711( 比 特 / 符 号 ) 。 提 示 : 至 少 有 一 个 1 出 现 的 概 率 为
1
6
1
6
=×−+
1
6
1
6
11
36
2.8 证明 (
H XX XL ≤
)
n
1
2
H X H X
2
+
1
(
(
)
)
+
+L
H X
n
(
)
提示:见教材式(2.1.26)和(2.1.28)
2.9 证明
H X XX ≤
)
2
(
3
1
H X X
1
3
(
)
,并说明等式成立的条件。
提示:见教材第 38 页
2
课后答案网 www.khdaw.com
2.10 对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成冷
暖两个状态,调查结果得联合出现的相对频度如下:
若把这些频度看作概率测度,求:
(1) 忙闲的无条件熵;
(2) 天气状态和气温状态已知时忙闲的条件熵;
(3) 从天气状态和气温状态获得的关于忙闲的信息。
解:设 X、Y、Z 分别表示{忙 闲}、{晴 雨}和{冷 暖},
(1) 先求忙闲的概率分布
X
XP
(
)
⎡
⎢
⎣
⎤
=⎥
⎦
⎡
闲忙
40
63
⎢
⎢
103
103
⎣
⎤
⎥
⎥
⎦
,无条件熵
)H X =
(
0.964(比特
/符号)
YZ
PYZ
(
)
=
⎡
⎢
⎣
(2)
晴冷 晴暖 雨暖 雨冷
32
20
103
103
23
28
103 103
(3) I(X;YZ)=0.105 比特/符号
⎤
⎥
⎦
⎡
⎢
⎢
⎣
,
⎤
⎥
⎥
⎦
H X YZ =
(
)
0.859(比特/符号)
2.11 有两个二元随机变量
X Y和
,它们的联合概率为
Y
X
0
0
1
1/8
3/8
并定义另一随机变量
(
( ),
(1)
),
(
XYZ=
(
),
H X H Y H Z H XZ H YZ H XYZ
)
和
),
(
)
(
;
3/8
1
(一般乘积)。试计算:
1/8
3
课后答案网 www.khdaw.com
(2)
(3)
H XY H Y X H X Z H Z X H Y Z H ZY H XYZ
(
),
),
)
H Y XZ
)
(
I X Y I X Z I Y Z I X Y Z I Y Z X I X ZY
,
(
(
)
H Z XY
和
(
;
;
),
;
)
,
),
(
)
。
和
),
),
),
(
)
(
(
)
(
)
(
(
(
(
(
;
,
;
;
,
;
解:提示: 的联合概率分布
XYZ
XYZ
(XYZP
)
⎡
⎢
⎣
⎤
=⎥
⎦
000
⎡
⎢
8/1
⎣
001
0
010
8/3
011
0
100
8/3
101
0
110
0
111
⎤
⎥
8/1
⎦
XZ 的联合概率分布
YZ 的联合概率分布
XZ
(XZP
)
⎡
⎢
⎣
⎤
=⎥
⎦
00
⎡
⎢
2/1
⎣
01
0
10
11
⎤
⎥
8/18/3
⎦
YZ
(YZP
)
⎡
⎢
⎣
⎤
=⎥
⎦
00
⎡
⎢
2/1
⎣
01
0
10
11
⎤
⎥
8/18/3
⎦
Z 的概率分布
Z
(ZP
)
⎡
⎢
⎣
⎤
=⎥
⎦
0
7
8
⎡
⎢
⎢
⎣
1
1
8
⎤
⎥
⎥
⎦
(1) 1 比特/符号,1 比特/符号,0.543 比特/符号,1.406 比特/符号,1.406
比特/符号,1.811 比特/符号
(2) 0.811 比特/符号,0.811 比特/符号,0.863 比特/符号,0.406 比特/符号,
0.863 比特/符号,0.406 比特/符号,0.405 比特/符号
(3) 0.189 比特/符号,0.137 比特/符号,0.137 比特/符号,0.458 比特/符号,
0.406 比特/符号,0.406 比特/符号
2.12 略
2.13 设有一个信源,它产生 序列的信息。它在任意时间而且不论以前发生过
0,1
( )
p
0.4,
1
( )
p
0
=
=
0.6
什么符号,均按
(1) 试问这个信源是否是平稳的?
(2) 试计算
lim
N
→∞
(3) 试计算
(
)
H X H X XX
,
2
(
)4H X
4X
及
(
)
2
3
1
)
H X
(
;
的概率发出符号。
并写出 信源中可能有的所有符号。
解:(1) 是
(2) 信源熵 0.971 比特/信源符号,
2 =XH
942.1)
(
比特/信源符号,由题设知
道这个信源是无记忆信源,因此条件熵和极限熵都等于信源熵。
(3)
4
(
×=XH
.04
)
信源中可能的符号共 16 个。
4X
比特/信源符号,
884.3
971
=
2.14 设
X X X
2
=
,
1
,
L
X
, N
是 平 稳 离 散 有 记 忆 信 源 , 试 证 明 :
4
课后答案网 www.khdaw.com
1
(
L
)
H XX X =
)H X +
提示:见教材第 44 页
(
N
2
1
H X X H X X X
1
+
2
1
3
2
(
)
(
)
+
+L
H X X X X −
L
N
N
1
2
1
(
)
。
2.15 略
2.16 一阶马尔可夫信源的状态图如题 2.16 图所示。信源 的符号集为
X
{0,1,2}
。
(1) 求平稳后信源的概率分布;
(2) 求信源的熵 。H∞
题 2.16 图
解 : (1) 由 图 得 一 步 转 移 概 率 矩 阵
P
=
pe pe pe p
(
=
=
=
)
(
)
(
)
1
2
3
(2)
pHHH
)
=
=
(
11
+
∞
=
1
3
⎡
⎢
⎢
⎢
⎣
p
0
pp
0
⎤
p
⎥
0
⎥
⎥
pp
⎦
, 状 态 极 限 概 率
2.17 黑白气象传真图的消息只有黑色和白色两种,即信源
出现的概率为 p(黑)=0.3,白色的出现概率 p(白)=0.7。
(1) 假设图上黑白消息出现前后没有关联,求熵
)H X
(2) 假设消息前后有关联,其依赖关系为 p(白/白)=0.9,p(黑/白)=0.1,p(白/
X = 黑,白
}
。设黑色
;(
{
黑)=0.2,p(黑/黑)=0.8,求此一阶马尔可夫信源的熵
)H X
;2(
(3) 分别求上述两种信源的剩余度,比较
物理意义。
解:(1) 0.881 比特/信源符号;
H X H X和
)
2(
(
)
的大小,并说明其
(2)
H X
)
(
2
2
2
= −∑∑
j
1
=
i
1
=
pab
(
i j
)log
2
pab
(
i j
)
=0.5533 比特/符号;
5
课后答案网 www.khdaw.com
(3) 11.9%,44.67%
2.18 每帧电视图像可以认为是由
3 10×
5
个像素组成的,所有像素均是独立变化,
且每像素又取 128 个不同的亮度电平,并设亮度电平是等概率出现,问每
帧图像含有多少信息量?若有一个广播员,在约 10000 个汉字中选 1000
个汉字来口述这电视图像,试问若要恰当地描述此图像,广播员在口述中
至少需要多少汉字?
解:(1)每帧图象包含的信息量
−
5
103
×
128
×
1
5
128
103
×
×
log
2
(2)每 1000 个汉字提供的信息量
1
5
128
103
×
log
10000
2
=
1.2
×
10
6
比特
1000
=
.1
3288
×
10
比特4
(3)需要
)1(
)2(
×1000
=
58.1
×
510
个汉字。
2.19 略
2.20 连 续 变 量
YX和
的 联 合 概 率 密 度 为 :
)
H X HY H XY I X Y和
( )
( )
(
)
(
:
,
,
。(提示:
π
2
0
∫
log sin d
x x
2
= −
π
2
解:
p x
( )
=
令
则
∫
∞
)
=
=
p xydy
(
∫
−∞
−
x r θ
,cos
2sin
θ
r
π
( )p x
=
dy
−
r x
2
2
1
r
2
π
r x
2
2
−
y r θ
sin
=
2
=
r x
2
2
−
r
2
π
)
(
p x y
,
1
⎧
⎪= π⎨
r
2
⎪⎩
0
log 2
)
2
x y r
2
2
+
2
, 求
其他
同理,由函数对称性
H X
)
(
= −
2cos
θ
r
π
log
2
∫
( )p y
r
=
2sin
θ
r
π
r
−
2sin
2
θ
π
⎛
⎜
⎝
=
0
∫
π
2sin
θ
r
π
log sin
2
θ
−
d
r
(
sin )
× −
θ θ
r d
π
⎞
θ
⎟
2
⎠
log
2
利用分部积分法、三角函数性质、习题提示并注意自然对数与
以 2 为底对数的换算关系可得:
e
log
H X H Y
( )
r
π
−
log
=
=
(
)
1
2
2
=
0.93 log
+
r
2
(比特/符号)
2
6
课后答案网 www.khdaw.com
= −
1
∫∫
r
2
π
x y r
2
2
+ =
1.65 2log
+
2
;
+
)
(
2
=
=
=
=
I X Y H X H Y H XY
)
(
+
r
( )
−
r
−
)
+
(
1.86 2log
0.21
2
log
2
1
r
2
π
dxdy
=
log
2
r
2
π
(比特/符号)
(1.65 2log
r
)
2
(比特/符号)
HXY
)
(
2.21 略
2.22 略
7
课后答案网 www.khdaw.com