信息论与编码结课论文
摘
要
通过这一个学期对信息论与纠错编码的学习,我对这门课程有了
很多的了解,促进了我对信息论的认识与学习,让我有了更大的收获。
随着以计算机技术、通信技术和网络技术为代表的信息技术的快
速发展,信息技术以成为当今社会应用范围最广的高新技术之一,而
信息论是信息技术的主要理论基础之一。信息论是在信息可以度量的
情况下,研究有效地,可靠地,安全地传递信息的科学,信息的可度
量性是建立信息论的基础;编码是把消息变换成信号的措施,编码器
又把适合信道的信号传输出去。编码理论是信息论的一个重要分支,
而编码的目的则是优化通信系统。
本文着重从编码出发,研究费诺编码的基本原理,以及费诺编码
的编写方法和步骤,使用例题的方法了解信源平均码长和编码效率。
从而对本书有更进一步的认识。
关键字:信息论,编码,费诺编码。
目
录
摘要………………………………………………I
一、主要内容……………………………………1
1、信息论与编码的问题描述…………………………………1
2、 费诺编码的原理……………………………………………1
二、主要任务……………………………………………1
1、费诺编码的设计与编写………………………………………2
2、计算费诺编码的平均码长和编码效率………………………2
三、基本要求……………………………………………3
1、突出重点、文字通顺…………………………………………4
2、编码和计算正确无误…………………………………………4
四、小结…………………………………………………5
五、主要参考文献………………………………………5
一、主要内容
1、信源编码的问题描述
信源编码是对新源输出的原始符号按照一定的数学规则进行变
换,使得传输每个信源符号所要求的平均比特数较小,也即是同样多
的信息用较少的码来传送,从而使单位时间内传送的平均信息量较
大,最终提高了通信的有效性。
2、费诺编码的原理
费诺编码属于统计匹配码,其原理如下:
(1)将信源消息(符号)按其出现的概率有大到小依次排列;
(2)将依次排列的信源符号按概率值分为两大组,使每个组的
概率之和近于相同,并对各组分别赋予一个二进制码元“0”和“1”;
(3)将没一大组的信源符号进一步在分成两组,使划分后的两
个组的概率之和近于相同,并又分别赋予一个二进制码元“0”和“1”
(4)如此重复,直至每个组只剩下一个信源符号为止;
(5)信源符号所对应的码字即为费诺码。
二、主要任务
1、费诺编码的设计与编写
(1)设有一单符号离散无记忆信源:
x
)(
xp
x
1
x
2
x
3
x
4
x
5
05.005.02.03.04.0
进行费诺编码。
解:该信源的熵为
H(X)=-
编码过程如下表:
iXP
(
5
1
log)
2
(
ixp
)
=1.95(bit/sign)
信源符号 符号概率
编
码
码字
码长
0
1
0
X1
x2
x3
X4
X5
0.4
0.3
0.2
0.05
0.05
0
10
110
1110
1111
1
2
3
4
4
0
1
0
1
该费诺码的平均码长为:
k
5
i
1
(
)
i kxp
i
0.41+0.32+0.2 3+0.05 4+0.05 4
=2.0(bit/sign)
编码效率为
)
(
XH
K
95.1
0.2
97.5
(2)设有如下离散无记忆信源:
X
XP
(
)
XXXXX
3
4
1
2
X
6
X
7
X
8
5
.1.01.018.04.0
007
04.005.006.0
对此信源进行费诺编码,并求出
编码效率
解:该信源的熵为
H(X)=-
编码过程如下表:
0
1
信源符号 概率
X1
0.4
X2
0.18
X3
0.1
X4
0.1
X5
0.07
X6
0.06
X7
0.05
X8
0.04
8
ixp
(
i
1
(
ixp
)
log)
2
=2.55(bit/sign)
编
01
0
1
码
0
1
0
1
0
1
0
1
码字 码长
00
01
100
101
1100
1101
1110
1111
2
2
3
3
4
4
4
4
该费诺码的平均码长为:
k =
i kxp
)
(
i
8
i
1
= 2(0.4+0.18)+3(0.1+0.1)+ 4(0.07+0.06+0.05+0.04)
=2.64(bit/sign)
编码效率为
)
(
XH
k
55.2
64.2
96.6%
四.小结
本文主要描述了在信息论与编码中所学习的费诺编码问题,在文
中用到费诺编码对实际问题进行编码,进而求出所编程序的码字、码
长,根据所学过的知识求出信源熵,与此同时求出了该程序的编码效
率。得到结论是费诺码有较高的编码效率,它比较适合于每次分组概
率都很接近的信源,特别是对每次分组概率都相等的信源进行编码
时,课达到理想的编码效率。
五、参考文献
1、陈运,信息论与编码(第二版),电子工业出版社
2、林云,信息论与编码技术基础,哈尔滨工程大学出版社
3、王艳营,信息论与编码,北京大学出版社