2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
解:
四进制脉冲可以表示 4 个不同的消息,例如:{0, 1, 2, 3}
八进制脉冲可以表示 8 个不同的消息,例如:{0, 1, 2, 3, 4, 5, 6, 7}
二进制脉冲可以表示 2 个不同的消息,例如:{0, 1}
假设每个消息的发出都是等概率的,则:
四进制脉冲的平均信息量 H(X1) = log2n = log24 = 2 bit/symbol
八进制脉冲的平均信息量 H(X2) = log2n = log28 = 3 bit/symbol
二进制脉冲的平均信息量 H(X0) = log2n = log22 = 1 bit/symbol
所以:
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。
2.2 居住某地区的女孩子有 25%是大学生,在女大学生中有 75%是身高 160 厘米以上的,而女
孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大
学生”的消息,问获得多少信息量?
解:
设随机变量 X 代表女孩子学历
X
P(X)
x1(是大学生)
x2(不是大学生)
0.25
0.75
设随机变量 Y 代表女孩子身高
Y
P(Y)
y1(身高>160cm) y2(身高<160cm)
0.5
0.5
已知:在女大学生中有 75%是身高 160 厘米以上的
即:p(y1/ x1) = 0.75
求:身高 160 厘米以上的某女孩是大学生的信息量
(
)
(
ypxp
1
(
)
yp
1
(
xp
1
(
xI
1
log
log
即:
y
1
y
1
)
)
/
2
/
1
/
x
1
)
log
2
25.0
75.0
5.0
.1
415
bit
2.3 一副充分洗乱了的牌(含 52 张牌),试问
(1) 任一特定排列所给出的信息量是多少?
(2) 若从中抽取 13 张牌,所给出的点数都不相同能得到多少信息量?
解:
(1) 52 张牌共有 52!种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:
(
xI
i
581.
bit
(
xp
i
225
log
log
!52
)
)
2
(2) 52 张牌共有 4 种花色、13 种点数,抽取 13 张点数不同的牌的概率如下:
(
xp
i
)
13
4
C
13
52
(
xI
i
)
log
2
(
xp
i
)
log
2
13
4
C
13
52
.13
208
bit
· 1 ·
2.4 设离散无记忆信源
X
(
XP
)
0
x
1
8/3
1
x
2
4/1
2
x
3
4/1
x
4
8/1
3
,其发出的信息为
(202120130213001203210110321010021032011223210),求
(1) 此消息的自信息量是多少?
(2) 此消息中平均每符号携带的信息量是多少?
解:
(1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3,因此此消息发出的概率是:
p
14
1
4
3
8
1
8
25
6
此消息的信息量是:
I
log2
p
811.87
bit
/
nI
(2) 此消息中平均每符号携带的信息量是:
811.87
45/
951.1
bit
2.5 从大量统计资料知道,男性中红绿色盲的发病率为 7%,女性发病率为 0.5%,如果你问一
位男士:“你是否是色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少
信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量
是多少?
解:
男士:
)
(
xp
Y
)
(
xI
Y
)
(
xp
)
(
xI
837
bit
105
bit
(
xp
Y
07.0
93.0
(
xp
log
log
.3
.0
)
)
N
2
N
2
(
xp
i
log)
2
(
xp
i
)
07.0(
log
2
07.0
93.0
log
2
)93.0
.0
366
bit
/
symbol
%7
log
2
%93
log
2
2
i
N
XH
(
)
女士:
XH
(
)
2
i
(
xp
i
log)
2
(
xp
i
)
.0(
005
log
2
.0
005
.0
995
log
2
.0
)995
.0
045
bit
/
symbol
2.6 设信源
X
(
XP
)
x
x
2
1
19.02.0
x
3
18.0
x
4
17.0
x
5
16.0
x
6
17.0
,求这个信源的熵,并解释为什么
H(X) > log6 不满足信源熵的极值性。
解:
(
xp
i
log)
2
(
xp
i
)
6
i
(
)
XH
log2.0(
2
.2
657
bit
log
(
)
XH
19.02.0
/
symbol
6
.2
585
2
log
2
19.0
18.0
log
18.0
17.0
log
17.0
16.0
log
16.0
17.0
log
)17.0
2
2
2
2
6
i
(
ixp
07.1)
1
。
不满足极值性的原因是
· 2 ·
2.7 证明:H(X3/X1X2) ≤ H(X3/X1),并说明当 X1, X2, X3是马氏链时等式成立。
证明:
3
1
/
(
XXXH
1
i
2
3
i
i
1
i
i
2
i
3
(
)
2
(
xxxp
2
i
)
/
XXH
1
log)
1
i
3
3
i
(
xp
i
3
(
xxxp
2
i
1
i
i
log)
3
(
xp
i
3
/
/
xx
1
i
i
2
)
xx
1
i
i
2
)
1
i
(
xxp
1
i
i
3
i
1
i
i
2
i
3
log)
3
(
xp
i
3
/
x
1
i
)
(
xxxp
2
i
1
i
i
log)
3
(
xp
i
3
/
x
1
i
)
(
xxxp
2
i
1
i
i
(
xxxp
2
i
1
i
i
3
3
log)
)
)
2
/
x
1
i
xx
1
i
i
)
(
xp
i
(
xp
i
(
xp
i
(
xp
i
3
/
3
/
x
1
i
xx
1
i
i
3
/
3
)
(
xxp
1
i
i
2
)
(
xp
i
3
/
x
1
i
)
(
xxp
1
i
i
2
)
i
3
(
xp
i
3
/
x
1
i
)
1
log
2
e
i
log
e
2
2
1
)
1
i
2
i
3
(
xxxp
2
i
1
i
i
)
3
log
2
e
1
i
i
2
i
3
i
3
i
3
i
i
2
2
1
i
1
i
0
1
i
2
i
XXXH
(
/
1
3
)
2
XXH
(
/
3
)
1
3
3
)
01
时等式成立
/
(
xp
x
1
3
i
i
(
)
/
xx
xp
1
2
i
i
i
(
)
/
/
)
(
x
xp
xx
xp
1
1
2
3
i
i
i
i
i
(
(
)
/
(
(
)
/
xp
xx
xxp
xxp
x
xp
1
1
1
1
3
2
i
i
i
i
i
i
i
i
i
)
/
)
/
)
(
(
(
(
xp
x
xxxp
xp
xp
x
1
1
1
1
2
2
3
i
i
i
i
i
i
i
i
(
(
/
/
/
(
)
)
)
xxp
xp
x
xp
x
x
1
1
1
2
3
i
i
i
i
i
i
i
,
_
等式成立的条件是
是马
XXX
3
氏链
3
)
)
,
2
1
3
2
3
2
当
)
2
2.8 证明:H(X1X2 。。。Xn) ≤ H(X1) + H(X2) + … + H(Xn)。
证明:
(
XXXH
...
)
(
/
3
1
2
(
)
...
)
X
XH
1
N
0)
(
)
XH
0)
XH
2
(
/
/
)
)
XXH
XXH
1
)
/
(
(
XXXH
2
(
2
1
3
1
3
2
)
2
XH
(
/
XX
1
2
...
X
N
)
N
1
...
X
2
...
X
N
0)
(
)
XH
1
(
XH
N
(
XH
)
2
(
XH
N
)
(
XH
3
/
)
XX
1
2
...
...
X
N
(
XH
)
)
1
N
N
)
1
2
3
2
1
1
;
;
XXH
(
XXI
(
XXXI
...
(
XXXI
1
XXH
N
(
;
1
2
1
2.9 设有一个信源,它产生 0,1 序列的信息。它在任意时间而且不论以前发生过什么符号,
均按 P(0) = 0.4,P(1) = 0.6 的概率发出符号。
(1) 试问这个信源是否是平稳的?
(2) 试计算 H(X2), H(X3/X1X2)及 H∞;
(3) 试计算 H(X4)并写出 X4信源中可能有的所有符号。
解:
(1)
这个信源是平稳无记忆信源。因为有这些词语:“它在任意时间....而且不论以前发生过什么符号
...........……”
· 3 ·
(2)
2
XH
XXXH
(2
XH
)
)
/
(
(
)
(
)
XH
1
2
3
log6.04.0
(
xp
i
log)
2
(
xp
i
2
.1)6.0
/
942
bit
symbol
log4.0(
log6.04.0
2
2
)
)6.0
.0
971
bit
/
symbol
2
log4.0(2
symbol
/
3
i
H
XH
(
)
.0
(3)
971
bit
log4.0(4
log6.04.0
2
2
)6.0
.3
884
bit
/
symbol
4
)
(4
XH
XH
X
0000
0100
1000
1101
(
)
4
的所有符号:
0010
0110
1010
1111
0001
0101
1001
1110
0011
0111
1100
1011
2.10 一阶马尔可夫信源的状态图如下图所示。信源 X的符号集为{0, 1, 2}。
(1) 求平稳后信源的概率分布;
(2) 求信源的熵 H∞。
/
2
)
e
2
/
e
/
e
1
)
3
)
3
1
2
2
2
2
3
1
2
/
)
)
)
3
)
(
(
(
)
(
)
epep
e
epep
1
1
1
(
/
)
)
(
(
(
)
epep
epep
e
(
(
)
)
(
/
)
(
e
epep
epep
3
3
)
)
(
)
(
epp
epp
1
(
)
)
)
(
epp
epp
3
2
(
(
)
)
)
epp
epp
3
1
)
)
)
(
(
ep
ep
3
(
(
)
)
1)
ep
ep
2
3/1)
3/1)
3/1)
3
2
2
3
解:
(1)
(
ep
1
(
ep
(
ep
(
ep
1
(
ep
(
ep
(
ep
1
(
ep
1
(
ep
1
(
ep
(
ep
2
3
2
3
· 4 ·
/
)
)
)
)
1
2
2
)
)
)
(
(
xpep
1
(
(
xpep
(
(
xpep
3
0
1
3/1
3/1
3
2
)
)
e
1
/
e
/
e
)
3
)
(
(
xpep
1
(
(
)
xpep
2
(
(
)
xpep
3
2
3/1
1
3
/
2
)
e
2
/
e
/
e
1
(
)
epp
1
(
)
epp
3
(
)
epp
3
2
)
(
)
epp
2
)
(
epp
3
(
)
epp
1
(
)
(
3/13/)
p
p
(
3/13/)
p
p
3/13/)
p
p
(
(
epep
)
i
/
e
i
j
log)
(
ep
/
e
i
)
j
log)
2
(
ep
1
/
e
1
)
1
3
(
ep
2
/
e
1
log)
2
(
ep
2
/
e
1
)
/
e
2
log)
2
(
ep
1
/
e
2
)
(
ep
1
/
e
3
log)
2
(
ep
1
/
e
3
)
1
3
1
3
(
ep
2
/
e
2
log)
2
(
ep
2
/
e
2
)
(
ep
2
/
e
3
log)
2
(
ep
2
/
e
3
)
1
3
1
3
1
3
(
ep
3
/
e
1
log)
2
(
ep
3
/
e
1
)
(
ep
3
/
e
2
log)
2
(
ep
3
/
e
2
)
(
ep
3
/
e
3
log)
2
(
ep
3
/
e
3
)
p
log
2
p
2
3
(
xp
1
(
xp
(
xp
X
(
XP
(2)
H
1
3
1
3
3
3
j
i
1
3
(
ep
1
/
e
1
(
ep
1
1
3
p
p
log
2
p
log
2
p
p
1
3
log
p
p
2
2
log
bit
p
/
log
2
p
1
3
p
log
2
p
1
3
p
log
2
p
1
3
p
1
3
symbol
2.11 黑白气象传真图的消息只有黑色和白色两种,即信源 X={黑,白}。设黑色出现的概率为
P(黑) = 0.3,白色出现的概率为 P(白) = 0.7。
(1) 假设图上黑白消息出现前后没有关联,求熵 H(X);
(2) 假设消息前后有关联,其依赖关系为 P(白/白)= 0.9,P(黑/白)= 0.1,P(白/黑)= 0.2,
P(黑/黑) = 0.8,求此一阶马尔可夫信源的熵 H2(X);
(3) 分别求上述两种信源的剩余度,比较 H(X)和 H2(X)的大小,并说明其物理含义。
解:
(1)
XH
log7.03.0
881.0
bit
log)7.0
log3.0(
symbol
log)
10
)
)
(
/
(
xp
i
2
(
xp
i
i
/
1
2
1
/
)
)
)
e
1
/
e
2
(2)
(
)
(
(
(
(
)
ep
epep
epep
1
1
1
)
(
)
(
(
(
(
)
epep
ep
epep
2
2
2
2
(
)
)
(1.0)
(8.0
ep
ep
ep
1
1
2
(2.0)
(
)
(9.0
)
ep
ep
ep
2
2
1
(
)
)
(2
ep
ep
2
1
1)
(
)
(
ep
ep
1
2
3/1)
(
ep
1
3/2
(
)
ep
2
H
(
(
epep
log)
(
ep
e
i
)
/
j
j
i
i
j
)
e
2
/
)
e
1
/
e
i
)
log8.0
1(
3
553
.0
bit
/
symbol
18.0
3
log2.0
2.0
2
3
log1.0
21.0
3
log9.0
log)9.0
10
2
· 5 ·
(3)
1
1
HH
0
0
HH
0
H
H
0
881
553
log
log
.02
2
log
2
2
.02
2
log
2
2
%9.11
%7.44
H(X) > H2(X)
表示的物理含义是:无记忆信源的不确定度大与有记忆信源的不确定度,有记忆信源的结构化信息较多,
能够进行较大程度的压缩。
2.12 同时掷出两个正常的骰子,也就是各面呈现的概率都为 1/6,求:
(1) “3 和 5 同时出现”这事件的自信息;
(2) “两个 1 同时出现”这事件的自信息;
(3) 两个点数的各种组合(无序)对的熵和平均信息量;
(4) 两个点数之和(即 2, 3, … , 12 构成的子集)的熵;
(5) 两个点数中至少有一个是 1 的自信息量。
解:
(1)
(
xp
i
)
(
xI
i
)
(2)
(
xp
i
)
(
xI
i
)
1
1
6
6
log
2
1
6
(
xp
i
1
6
)
1
18
log
1
18
2
.4
170
bit
1
1
6
6
log
1
36
)
(
xp
i
2
log
2
1
36
.5
170
bit
(3)
两个点数的排列如下:
14
24
34
44
54
64
11
21
31
41
51
61
12
22
32
42
52
62
13
23
33
43
53
63
15
25
35
45
55
65
16
26
36
46
56
66
共有 21 种组合:
其中 11,22,33,44,55,66 的概率是
其他 15 个组合的概率是
12
6
1
6
1
18
1
6
1
6
1
36
XH
(
)
i
(
xp
i
log)
(
xp
i
)
6(
1
36
log
1
36
15
1
18
log
1
18
log)
2
10
.4
337
bit
/
symbol
(4)
参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:
· 6 ·
XH
X
(
)
XP
)
(
3
4
1
1
18
12
log)
5
1
9
(
xp
i
6
5
36
7
1
6
8
5
36
9
1
9
10
1
12
11
1
18
12
1
36
)
(
xp
i
1
18
log
1
18
2
1
12
log
1
12
12
9
log
1
9
2
5
36
log
5
36
1
6
log
1
6
log)
2
10
2
1
36
i
log
2(
1
36
274
bit
2
1
36
symbol
/
.3
(5)
(
xp
i
)
(
xI
i
)
1
1
6
6
log
2
11
(
xp
i
)
11
36
log
2
11
36
.1
710
bit
2.13 某一无记忆信源的符号集为{0, 1},已知 P(0) = 1/4,P(1) = 3/4。
(1) 求符号的平均熵;
(2) 有 100 个符号构成的序列,求某一特定序列(例如有 m个“0”和(100 - m)个“1”)
的自信息量的表达式;
(3) 计算(2)中序列的熵。
解:
(1)
XH
(
)
i
(
xp
i
log)
(
xp
i
)
1(
4
log
1
4
3
4
log
3
4
log)
2
10
811.0
bit
/
symbol
(2)
(
xp
i
)
1
4
m
3
4
100
m
(
xI
i
)
log
2
(
xp
i
)
log
(3)
m
100
100
3
4
100
3
4
2
100
m
.15.41
585
bitm
XH
(
100
)
100
XH
(
)
100
811.0
1.81
bit
/
symbol
2.14 对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态,
调查结果得联合出现的相对频度如下:
若把这些频度看作概率测度,求:
· 7 ·
j
k
i
12
8
103
103
12
103
log
2
8
103
.2
(
YZH
2
log
8
15
103
103
/
836
symbol
bit
(
)
zyp
j
k
20
103
symbol
H
XYZ
log
23
103
/
)
(
2
j
20
103
977
.1
bit
(
/
)
XH
YZ
(3)
(
YZXI
)
;
log
2
8
103
27
103
log
2
27
103
16
103
log
2
log
15
103
2
5
103
log
2
5
103
12
103
log
2
12
103
16
103
log)
2
k
(
zyp
j
k
)
log
2
23
103
32
103
log
2
32
103
28
103
log
2
28
103
YZH
(
)
.2
836
.1
977
.0
859
bit
/
symbol
(1) 忙闲的无条件熵;
(2) 天气状态和气温状态已知时忙闲的条件熵;
(3) 从天气状态和气温状态获得的关于忙闲的信息。
解:
(1)
根据忙闲的频率,得到忙闲的概率分布如下:
X
(
XP
)
XH
(
)
闲忙
x
x
1
2
63
40
103
103
2
(
xp
i
)
i
63
103
log
2
63
103
40
103
log
2
40
103
.0
964
bit
/
symbol
(2)
设忙闲为随机变量 X,天气状态为随机变量 Y,气温状态为随机变量 Z
H
log)
XYZ
(
zyxp
j
(
zyxp
j
)
(
)
2
k
k
i
i
XH
(
)
XH
(
/
YZ
)
.0
964
.0
859
.0
159
bit
/
symbol
2.15 有两个二元随机变量 X和 Y,它们的联合概率为
Y
X
y1=0
y2=1
x1=0
1/8
3/8
x2=1
3/8
1/8
并定义另一随机变量 Z = XY(一般乘积),试计算:
(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和 H(XYZ);
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和 H(Z/XY);
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y)。
解:
(1)
(
xp
1
(
yxp
11
(
yxp
1
)
)
)
2
1
8
3
8
1
2
· 8 ·