线
订
装
超
勿
题
答
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
线
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
订
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
装
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
号
学
名
姓
业
专
级
年
系
/
院
安徽大学 20 16 —20 17 学年第 2 学期
《 信息论与编码》考试试卷(A 卷)
(闭卷 时间 120 分钟)
考场登记表序号
一
二
三
四
总分
题 号
得 分
阅卷人
一、 填空题(每空 1 分,共 15 分)
得 分
1.必然事件的自信息量是
。
2. 离 散 平 稳 无 记 忆 信 源 X 的 信 源 熵 为 (
)H X , 则 其 N 次 扩 展 信 源 熵
为
。
3.对于离散无记忆信源,当信源熵有最大值时,满足条件为
。
4.已知某地二月份天气的概率分布统计如下:
X
(
P X
)
(
)
a
晴
1
1/2
a
)
(
)
(
a
雨阴
3
2
1/8
1/4
a
)
(
雪
4
1/8
则天气“晴”的自信息量为
,该信源的熵为
5.对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是
.
.
。
6. 信 道 编 码 中 , 把 信 息 元 组 原 封 不 动 地 搬 到 码 字 前 k 位 的
,(
kn 码 叫
)
做
。
第 1 页
共 8 页
7.设有一个信道,其信道矩阵为
其信道容量是
0.25 0.25
0.5
0.25
0.25
0.5
0.25 0.25
0.5
bit/sign。
,则它是
信道,
8. (7,4) 线性分组码中,接收端收到分组 R 的位数为
;假设最多一
位 出 错 , 则 伴 随 式 S 可 能 的 值 有
为
,系统生成矩阵 Gs 的维数为
矩 阵 Hs 的 维 数 为
是
。
种 ; 差 错 图 案 e 的 长 度
,系统校验
, Gs 和 Hs 满 足 的 关 系 式
二、判断题(每题 2 分,共 20 分)
得 分
1. 信息论这门科学是美国科学家维纳创立的。
2. 当随机变量 X 和Y 相互独立时,条件熵
YXH
(
|
)
等于信源熵
(XH
)
.
3. 已知两个信源 X 和Y ,则平均互信息量 (
;
I X Y
)
H X H Y X
(
)
(
/
)
。
( )
( )
( )
4. 在信息论中,自信息量的单位与所用对数的底有关,当对数底为 2 时,自信息量的单位
为比特,当对数底为 e 时,自信息量的单位是哈特,当对数底为 10 时,信息量的单位是
奈特。
5. 由于 (
p a
i
)
)
j
,则 (
I a
i
)
(
I a b
/
i
)
j
。
( )
( )
(
p a b
/
i
6. 信源的记忆长度越长,熵就越小。只有当记忆长度为 0 时,即符号之间彼此没有任何依
赖关系且呈等概率分布时,信源熵达到最大值。
( )
7. 信源编码是解决通信的可靠性问题。
8. 哈夫曼编码过程中,如果合并后的新符号概率与其他符号概率相等,则需要将新符号排
( )
在其他相同概率符号的前边,这样做是为了提高编码效率。
( )
9. 给定了信道转移概率矩阵的传输信道,对于信源概率分布为 (
)iP a 的信源,此时的平均
互信息量为 (
I X Y ,则该信道的信道容量即为 (
I X Y 。
)
)
;
;
10. ( ,
)n k 循环码 ( )C x ,其生成多项式 ( )g x 的最高幂次为 k .
第 2 页
共 8 页
( )
( )
三、计算题(共 55 分)
得 分
1.设离散无记忆信源的概率空间为
X
(
P X
)
x
x
2
1
0.8 0.2
,通过干扰信道,信道输出端的接
收符号集为
Y
,
y y
1
2
,信道传输转移概率如下图所示。(15 分)
(1) 计算信源 X 中事件 1x 包含的自信息量;
(2) 计算信源 X 的信息熵;
(3) 计算信道疑义度
|
H X Y ;
(4) 计算噪声熵
(5) 计算收到消息Y 后获得的平均互信息量。
|H Y X ;
常用对数表(不局限于此题)
log 3 1.585 log 5 2.322 log 7
2
2
2
2.807 log 11 3.459 log 13 3.700
2
2
第 3 页
共 8 页
线
订
装
超
勿
题
答
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
线
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
订
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
装
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
号
学
名
姓
业
专
级
年
系
/
院
第 4 页
共 8 页
2. 一个一阶马尔可夫信源,转移概率为(10 分):
|
P S S
1
1
2
3
,
|
P S S
1
2
1
3
,
|
P S S
2
1
1,
|
P S S
2
2
0
。
(1) 计算稳态时,各种状态的概率。
(2) 计算马尔可夫信源的极限熵。
线
订
装
超
勿
题
答
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
线
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
订
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
装
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
号
学
名
姓
业
专
级
年
系
/
院
第 5 页
共 8 页
3、已知信源(15 分):
X
(
P X
)
a
2
a
3
a
a
1
6
0.2 0.2 0.2 0.2 0.1 0.1
a
5
a
4
(1)用哈夫曼编码法编成二进制变长码;
(2)计算平均码长 K ;
)H X ;
(3)计算信源熵 (
(4)计算编码后信息传输率 R ;
(5)计算编码效率。
第 6 页
共 8 页
4、设一线性分组码系统生成矩阵(15 分):
sG
1 0 0 1 1 0
0 1 0 0 1 1
0 0 1 1 0 1
(1)求此分组码的一致性校验矩阵 sH ;
(2)若接收到码字(101001),求出伴随式并给出译码结果。
线
订
装
超
勿
题
答
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
线
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
订
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
装
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
号
学
名
姓
业
专
级
年
系
/
院
第 7 页
共 8 页
四、证明题(共 10 分)
已知信源 X :
和信源Y :
请证明:
(1)
H XY
(
)
H X
(
)
(2) (
;
I X Y
)
H X
(
)
得 分
...
...
a
i
(
p a
i
)
...
...
a
n
(
p a
n
)
)
a
a
1
2
(
(
p a p a
2
)
1
b
b
2
1
(
(
p b p b
2
)
1
...
...
)
b
j
(
p b
...
...
b
m
(
p b
m
)
)
j
X
(
P X
)
Y
( )
P Y
H Y X
(
/
)
H Y H XY
( )
(
)
第 8 页
共 8 页