北理工《信息论与编码》复习总结.pdf

发布时间：2022-06-01 发布人：admin 分类：说明书资料大小：5.47M 资料格式：pdf 举报版权申诉

weixin_43870101-12324317-4744300845404994096.pdf-第1页.png

第1页 / 共44页

weixin_43870101-12324317-4744300845404994096.pdf-第2页.png

第2页 / 共44页

weixin_43870101-12324317-4744300845404994096.pdf-第3页.png

第3页 / 共44页

weixin_43870101-12324317-4744300845404994096.pdf-第4页.png

第4页 / 共44页

weixin_43870101-12324317-4744300845404994096.pdf-第5页.png

第5页 / 共44页

weixin_43870101-12324317-4744300845404994096.pdf-第6页.png

第6页 / 共44页

weixin_43870101-12324317-4744300845404994096.pdf-第7页.png

第7页 / 共44页

weixin_43870101-12324317-4744300845404994096.pdf-第8页.png

第8页 / 共44页

第1章绪论

1.1 信息的概念

1. 信息的定义

2. 信息、消息和信号的区别

1.2 信息论研究的对象、目的和内容

1. 研究对象：应用概率论、随机过程、数理统计等方法来研究信息的传输、提取和处理系统中的一般规律。

2. 研究目的：提高信息系统的可靠性、有效性和安全性以便达到系统最优化。

3. 研究内容

1.3 信息论发展简史与信息科学*

第2章离散信源及其信息测度

2.1 信源的数学模型及分类0F

1. 一维离散信源和一维连续信源(单符号)

2. 多符号离散信源：采用随机矢量描述，即

3. 离散平稳信源和连续平稳信源

2.2 离散信源的信息熵

1. 信息量

2. 互信息量及其性质

3. 信息熵

2.3 信息熵的基本性质

2.4 信息熵的唯一性定理*

2.5 离散无记忆信源的扩展信源

1. 离散无记忆信源的扩展信源的定义

2. 离散无记忆信源的扩展信源的的信源熵

2.6 离散平稳信源

1. 离散平稳信源的数学定义

2. 二维离散平稳信源及其信息熵

3. 离散平稳信源的极限熵

2.7 Markov信源

1. Markov信源的定义

2. m阶Markov信源

2.8 信源剩余度与自然语言的熵

第3章离散信道及其信道容量

3.1 信道的数学模型及分类12F

1. 信道的分类

2. 离散信道的数学模型

3. 单符号离散信道的数学模型

3.2 平均互信息及平均条件互信息

1. 信道疑义度

2. 平均互信息

3. 平均条件互信息

3.3 离散信道平均互信息的特性

3.4 信道容量及其一般计算方法

1. 信道的信息传输率和信道容量

2. 离散无噪信道的信道容量

3. 对称离散信道的信道容量

4. 准对称离散信道的信道容量

5. 一般离散信道的信道容量

3.5 信道容量的迭代算法*

3.6 离散无记忆扩展信道及其容量

1. 离散无记忆扩展信道

2. 离散无记忆扩展信道的平均互信息和信道容量

3.7 独立并联信道及其信道容量

3.8 串联信道的互信息和数据处理定理

1. 串联信道的互信息

2. 数据处理定理

3.9 信源与信道的匹配

第4章波形信源和波形信道

4.1 波形信源的统计特性和离散化

1. 波形信源及其统计特性

2. 波形信源的离散化

4.2 连续信源和和波形信源的信息测度

1. 连续信源的差熵

2. 连续平稳信源和波形信源的差熵

3. 两种特殊连续信源的差熵

4.3 连续信源熵的性质和最大差熵定理

1. 差熵的性质

2. 最大差熵定理

4.4 连续信源熵的变换

4.5 熵功率*

4.6 连续信道和波形信道的分类

1. 按信道输入和输出的统计特性分类

2. 按噪声的统计特性分类

3. 按噪声对信号的功能分类

4.7 连续信道和波形信道的信息传输率

1. 连续信道的平均互信息与信息传输率

2. 连续信道平均互信息的特性

4.8 连续信道和波形信道的信道容量

1. 单符号高斯加性信道

2. 多维无记忆高斯加性连续信道21F 的信道容量

3. 限带高斯白噪声加性波形信道(Additive White Gaussian Nosie, AWGN信道)

4.9 Shannon公式的重要实际指导意义

第5章无失真信源编码定理

5.1 引言

1. 信源编码、信道编码和密码

2. 信源编码理论

3. 编码器

4. 码的分类

5.2 等长码

1. 对信源进行等长编码

2. 对信源的N次扩展信源进行等长编码

5.3 渐进等分割性和ε典型序列*

5.4 等长信源编码定理

1. 等长信源编码定理22F

2. 等长信源编码定理的导出式

3. 编码效率

4. 信源序列长度与最佳编码效率和错误概率的关系

5.5 变长码

1. 唯一可译变长码与即时码

2. 即时码的树图构造法

3. Kraft不等式(存在性定理)

4. 唯一可译码的判断方法

5.6 变长信源编码定理

1. 码的平均长度和码率

2. 无失真变长信源编码定理

3. Shannon第一编码定理的物理意义

4. 无失真信源编码定理(无噪信道编码定理)

第6章有噪信道编码定理

6.1 错误概率和译码规则

1. 译码规则的基本定义

2. 错误概率的基本定义

3. 两个译码准则

4. Fano不等式

6.2 错误概率和编码方法

1. 汉明距离

2. 最小距离译码准则

6.3 联合ε典型序列*

6.4 有噪信道编码定理

1. 有噪信道编码定理

2. 有噪信道编码定理的逆定理

3. 实际意义

6.5 联合信源信道编码定理

第7章保真度准则下的信源编码

7.1 失真度和平均失真度28F

1. 试验信道

2. 失真度(失真函数)

3. 平均失真度

7.2 信息率失真函数及其性质

1. 信息率失真函数

2. 信息率失真函数的性质

7.3 离散信源的信息率失真函数

1. 二元对称信源的信息率失真函数

2. 离散对称信源的信息率失真函数

7.4 离散信源率失真函数的参量表达式*

7.5 信息率失真函数的迭代算法*

7.6 连续信源的信息率失真函数*

1. 连续信源的信息率失真函数的参量表达式

2. 高斯信源的信息率失真函数

3. 信道容量与信息率失真函数的比较

7.7 保真度准则下的信源编码定理

1. 保真度准则下的信源编码定理

2. 信源编码逆定理

7.8 联合有失真信源信道编码定理*

7.9 限失真信源编码定理的实用意义*

第8章无失真的信源编码

8.1 Shannon编码

1. 二进制Shannon编码的步骤

2. Shannon编码举例

8.2 Fano编码

1. Fano编码的步骤

2. Fano编码举例

8.3 Huffman编码

1. Huffman编码的步骤

2. Huffman编码的不唯一性

3. “全树”的概念与r元Huffman编码

4. Huffman编码举例

5. 三种编码方式的比较

第1章绪论 1.1 信息的概念 1. 信息的定义信息论与编码·部分概念与公式 Sorted out by & ①Hartley 对信息的定义：信息是选择的自由度。 ②Wiener 对信息的定义：1)信息既不是物质又不是能量，信息就是信息。表明了信息是独立于物质和能量之外存在于客观世界的第三要素。2)信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容的名称。 ③Shannon 对信息的定义：信息是事物运动状态或存在方式的不确定性的描述。 2. 信息、消息和信号的区别 ①信号：是信息的物理表达层，是三个层次中最具体的层次。 ②消息(或符号)：是信息的数学表达层，可以定量地加以描述，它是具体物理信号的进一步数学抽象。可分为离散(数字)消息和连续(模拟)消息。 ③信息：是指各个事物运动的状态及状态变化的方式，是抽象的意识或知识，是三个层次中最抽象的层次。 ➢ 信号是消息的载体，消息是信息的载体。 1.2 信息论研究的对象、目的和内容 1. 研究对象：应用概率论、随机过程、数理统计等方法来研究信息的传输、提取和处理系统中的一般规律。 2. 研究目的：提高信息系统的可靠性、有效性和安全性以便达到系统最优化。图 1-1 信息传输系统的模型 3. 研究内容 ①狭义信息论(Shannon 信息论)：主要研究信息的测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理以及信源和信道编码。Shannon 研究的对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码。 ➢ Shannon 信息论的缺陷 1) Shannon 定义信息的出发点是假定事物的状态可以用一个以经典集合论为基础的概率模型来描述，对实际存在的某些事物的运动状态要寻找一个合适的概率模型往往是非常困难的，并且这一模型不一定存在。 2) Shannon 定义信息的度量没有考虑收信者的主观性和主观意义，也撇开了信息的具体含义、具体用途、重要程度和引起的后果等元素，这就与实际情况不完全一致。 ②一般信息论：主要是研究信息传输和处理问题。除了 Shannon 基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。重点研究接收端。 ③广义信息论* 1.3 信息论发展简史与信息科学* 1

目录 ©Josh G. and Gatsby V. All Rights Reserved. 第 1 章绪论 4.7 连续信道和波形信道的信息传输率 ·························25 1.1 信息的概念 ······························································· 1 4.8 连续信道和波形信道的信道容量 ····························26 1.2 信息论研究的对象、目的和内容 ······························ 1 4.9 Shannon 公式的重要实际指导意义·······················27 1.3 信息论发展简史与信息科学* ···································· 1 第 5 章无失真信源编码定理第 2 章离散信源及其信息测度 5.1 引言 ········································································29 2.1 信源的数学模型及分类············································· 3 5.2 等长码 ····································································29 2.2 离散信源的信息熵 ···················································· 3 5.3 渐进等分割性和 ε 典型序列* ···································30 2.3 信息熵的基本性质 ···················································· 6 5.4 等长信源编码定理 ··················································30 2.4 信息熵的唯一性定理* ··············································· 6 5.5 变长码 ····································································31 2.5 离散无记忆信源的扩展信源 ····································· 6 5.6 变长信源编码定理 ··················································32 2.6 离散平稳信源 ··························································· 7 第 6 章有噪信道编码定理 2.7 M arkov 信源 ··························································· 8 6.1 错误概率和译码规则 ··············································34 2.8 信源剩余度与自然语言的熵 ··································· 10 6.2 错误概率和编码方法 ··············································35 第 3 章离散信道及其信道容量 6.3 联合 ε 典型序列* ·····················································36 3.1 信道的数学模型及分类··········································· 11 6.4 有噪信道编码定理 ··················································36 3.2 平均互信息及平均条件互信息 ······························· 12 6.5 联合信源信道编码定理 ···········································36 3.3 离散信道平均互信息的特性 ··································· 14 第 7 章保真度准则下的信源编码 3.4 信道容量及其一般计算方法 ··································· 15 7.1 失真度和平均失真度 ··············································37 3.5 信道容量的迭代算法* ············································· 17 7.2 信息率失真函数及其性质 ·······································38 3.6 离散无记忆扩展信道及其容量 ································ 17 7.3 离散信源的信息率失真函数 ···································39 3.7 独立并联信道及其信道容量 ··································· 18 7.4 离散信源率失真函数的参量表达式* ·······················40 3.8 串联信道的互信息和数据处理定理 ························ 19 7.5 信息率失真函数的迭代算法* ··································40 3.9 信源与信道的匹配 ·················································· 19 7.6 连续信源的信息率失真函数* ··································41 第 4 章波形信源和波形信道 7.7 保真度准则下的信源编码定理 ································41 4.1 波形信源的统计特性和离散化 ································ 20 7.8 联合有失真信源信道编码定理* ·······························41 4.2 连续信源和和波形信源的信息测度 ························ 20 7.9 限失真信源编码定理的实用意义* ···························41 4.3 连续信源熵的性质和最大差熵定理 ························ 23 第 8 章无失真的信源编码 4.4 连续信源熵的变换 ·················································· 24 8.1 Shannon 编码 ·························································42 4.5 熵功率* ··································································· 24 8.2 Fano 编码 ·······························································42 4.6 连续信道和波形信道的分类 ··································· 24 8.3 H uffm an 编码 ·······················································43 2

第2章离散信源及其信息测度 2.1 信源的数学模型及分类 0F ① 1. 一维离散信源和一维连续信源(单符号) 表 2-1 一维离散信源和一维连续信源的比较概率空间完备约束含义其中是信源输出符号的先验概率。一维离散信源每次只输出一个消息，消息的可能数目是有限多个其中是随机变量的概率密度函数。一维连续信源每次只输出一个消息，但消息的可能数目是无限多个 (2-1) 一维离散信源一维连续信源 2. 多符号离散信源：采用随机矢量描述，即维随机矢量也称为随机序列。 3. 离散平稳信源和连续平稳信源 ①离散平稳信源若信源输出的随机序列中每个随机变量都是离散型随机变量，且随机序列的各维概率密度函数与时间起点无关，即随机变量的统计特性不随着时间的推移而有所变化，此时称为离散平稳信源。 ②连续平稳信源若信源输出的消息可用 N 维随机矢量来描述，其中每个随机分量都是连续型随机变量，且随机变量的各维概率密度函数与时间起点无关，即随机变量的统计特性不随着时间的推移而有所变化，此时称为连续平稳信源。 ➢ 平稳信源又分为无记忆信源(输出符号彼此统计独立)和有记忆信源。 2.2 离散信源的信息熵 1. 信息量 ①信息量的直观定义收到某消息获得的信息量不确定性减少的量收到消息前关于某事件发生的不确定性收到此消息后的不确定性 ➢ 特别地，对于无噪声信道收到某消息获得的信息量收到消息前关于某事件发生的不确定性信源输出某消息中所含信息量 ②自信息量若已知事件发生，则该事件所含有的信息量称为自信息量，定义为 ②, 1F 2F ③ (2-2) ➢ 自信息量的意义：当事件发生以前，表示事件发生的不确定性；当事件发生以后，表示事件所含有 (或所提供)的信息量。在无噪信道中，事件发生后，能正确无误地传输到收信者，所以可代表接收到消息后所获得的信息量，这是因为消除了大小的不确定性，才获得这么大小的信息量。 ① 在通信系统中，收信者在未收到信息以前，对信源发出什么样的消息是不确定的，是随机的，所以可以用随机变量、随机矢量或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度来描述信源。不同的信源根据其输出消息的不同的随机性质进行分类。 ② 一般采用以 2 为底的对数，且为了书写简洁，把底数“2”略去不写。 ③ 是一个随机量，而是的函数，所以自信息量也是一个随机变量，没有确定的值，不能作为整个信源的信息测度。 3

2.2 离散信源的信息熵 ③联合自信息量设信源模型为其中 (2-3) 且，则联合自信息量为 (2-4) ➢ 当和相互独立时， (2-5) 即两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。 ④条件自信息量设在条件下发生的条件概率为，则其条件自信息量定义为 (2-6) 表示在特定的条件下( 已定)随机事件所带来的信息量。 ➢ 自信息量、条件自信息量和联合自信息量之间的关系： (2-7) 2. 互信息量及其性质 ①互信息的定义考虑信源、信宿均为一维离散信源的情况，则对的互信息量定义为后验概率与先验概率比值的对数，即其中的概率 (2-8) ；信源发出消息的概率称为先验概率；信宿收到后推测信源发出称为后验概率。表 2-2 互信息量的三种不同表达式观察角度互信息量含义接收端发送端通信系统两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量观察者得知输入端发出前、后对输出端出现的不确定度的差通信前，输入随机变量和输出随机变量之间没有任何关联关系，即，统计独立；通信后，输入随机变量和输出随机变量之间由信道的统计特性相联系注：这三种表达式实际上是等效的，在实际应用中可根据具体情况选用一种较为方便的表达式。 4

②互信息的性质表 2-3 互信息的性质性质表述含义第 2 章离散信源及其信息测度对称性互信息量反映两个随机事件的可能结果和之间的统计约束程度，从得到的关于的信息量与从得到的关于的信息量的，只是观察的角度不同而已是一样和之间不存在统计约束关系，从得不到关于的任何信息，反之亦然和相互独立时的互信息互信息量可为正值或负值当后验概率大于先验概率时，互信息量为正。当后验概率小于先验概率时，互信息量为负 3F ①。其中消息与消息之间的互信息量条件互信息量则与之间的互信息量可进一步表示为即一个联合事件发生后所提供的有关的信息量，等于发生后提供的有关的信息量之和。与给定条件下再出现后所提供的有关的信息量 3. 信息熵 ①信息熵的定义已知单符号离散无记忆信源的数学模型为，，则定义信源的信息熵(也称为无条件熵、Shannon 熵、熵函数、熵)，即各离散消息自信息量的数学期望，为信源的平均自信息量 4F ②，表示为 ②信源熵三种物理含义 1) 信源熵 2) 信源熵是表示信源输出后，每个消息/符号所提供的平均信息量；是表示信源输出前，信源的平均不确定性； 3) 用信源熵来表征变量的随机性。 ③信源熵与信息量的比较 (2-9) 有界性确定性与信源输出有无关系意义表 2-4 信源熵与信息量的比较信源熵有限值确定值无关信息量可为无穷大一般为随机量有关信源的平均不确定度消除不确定度得到信息 ① 收信者未收到以前，对消息是否出现的猜测难疑程度较小；但由于噪声的存在，接收到消息后对是否出现的猜测的难疑程度增加了，也就是收信者接收到消息后对出现的不确定性反而增加，所以获得的信息量为负值。 ② 信源熵和平均自信息量两者在数值上是相等的，但含义并不相同。信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，这熵值在总体平均的意义上才有意义，因而是一个确定值。 5

2.3 信息熵的基本性质 2.3 信息熵的基本性质对于概率空间为其中的信源，其概率分布可用概率矢量来表示，记为 (2-10) 表示符号的概率。由于各分量满足，信息熵是概率矢量或它的分量的元函数。由此，信息熵(熵函数)还可写为对称性确定性非负性扩展性可加性上凸性极值性 (2-11) 表 2-5 信息熵的基本性质表述含义熵只与随机变量的总体结构有关，即与信源的总体统计特性有关。如果某些信源的统计特性相同(含有的符号数和概率分布相同)，那么这些信源的熵就相同如果一个信源的输出符号几乎必然为某一状态(概率为 1)，那么这个信源没有不确定性，信源输出符号后不提供任何信息量这种非负性对于离散信源的熵是合适的，但对连续信源来说这一性质并不存在信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于 0，在信源熵中占极小的比重，使信源熵保持不变两个互相关联的信源和的联合信源的熵等于信源其中一个信源的熵加上在该信源已知的条件下另一信源的条件熵熵函数是概率矢量的严格型凸函数(亦称上凸函数)，即熵函数存在极大值 (最大离散熵定理)对于具有个符号的离散信源，当且仅当各个消息出现的概率相等时，信息熵才能达到最大值其中和是任意概率矢量， 2.4 信息熵的唯一性定理* 2.5 离散无记忆信源的扩展信源 1. 离散无记忆信源的扩展信源的定义设一个离散无记忆信源的概率空间为，则信源的次扩展信源是具有个符号的离散信源，其重概率空间为 (2-12) 其中每个符号是由任意个组成的序列。 6

2. 离散无记忆信源的扩展信源的的信源熵离散无记忆信源的次扩展信源的熵等于离散信源的熵的倍，即第 2 章离散信源及其信息测度 2.6 离散平稳信源 1. 离散平稳信源的数学定义 ① 5F (2-13) 一般来说，信源前后之间有依赖关系，可以用随机矢量描述 (2-14) 若序列统计性质与时间的推移无关，即两个任意时刻信源发出符号的概率分布完全相同，则称该信源是平稳的。 2. 二维离散平稳信源及其信息熵 ①二维离散平稳信源的定义设一个离散无记忆信源的概率空间为，若信源输出的随机序列的二维联合概率分布与时间起点无关，即则该信源称为二维离散平稳信源，且连续两个信源符号出现的联合概率分布满足 ②二维离散平稳信源的信息熵 (2-15) (2-16) 由二维离散信源的发出符号序列的特点可以把其分成每两个符号一组，每组代表新信源中的一个符号。并假设组与组之间是统计独立的，互不相关的。到一个新的离散无记忆信源，其联合概率空间为 1) 联合熵且 (2-17) (2-18) 联合熵可以表征信源输出长度为 2 的平均不确定性，或所含有的信息量。因此可以用作为二维平稳信源的信息熵的近似值，即 2) 条件熵 3) 熵的强可加性 ➢ 推论 3. 离散平稳信源的极限熵 ① 维离散平稳信源的联合熵 (2-19) (2-20) (2-21) (2-22) (2-23) (2-24) 即维(多符号)离散平稳有记忆信源的熵是中起始时刻随机变量的熵与各阶条件熵之和。由于信源是平稳的，这个和值与起始时刻无关。 ① 这是因为扩展信源的每一个输出符号是由个组成的序列，并且序列中前后符号是统计独立的。现已知每个信源符号含，因此信源每个输出序，则根据熵的可加性，个组成的无记忆序列平均含有的信息量就为有的平均信息量为列含有的平均信息量为。 7

2.7 Markov 信源 ②平均符号熵：长度为的信源符号序列中平均每个信源符号所携带的信息量即为平均符号熵，即 (2-25) ③条件熵：长度为的信源符号序列已知前个符号时后一个符号所携带的信息量即为即为条件熵，即 ④极限熵 1) 极限熵定义：当时的平均符号熵称为极限熵或极限信息量，即 2) 极限熵的存在性 (2-26) (2-27) 当离散有记忆信源是平稳信源时，从数学上可以证明，极限熵是存在的，且等于关联长度时，条件熵的极限值，即 (2-28) ➢ 有时为了简化分析，往往用条件熵或平均符号熵作为极限熵的近似值。 3) 极限熵的含义：代表了一般离散平稳有记忆信源平均每发送一个符号提供的信息量 6F ①。 ⑤离散平稳信源信息熵的性质对于离散平稳信源，当时，具有以下性质表 2-6 离散平稳信源的性质性质序号 1 2 3 表述条件熵随的增加是非递增的表达式表述表达式给定时，平均符号熵条件熵表述平均符号熵随的增加是非递增的表达式 4 表述存在，且有式(2-28)成立 2.7 Markov 信源 1. Markov 信源的定义 ①Markov 过程和 Markov 链 M arkov 过程是一个典型的随机过程。设是一个随机过程，当过程在时刻所处的状态为已知时，过程在时刻所处的状态，与过程在时刻之前的状态无关，则该过程具有无后效性。具有无后效性的过程称为 Markov 过程。时间和状态都是离散马尔可夫过程称为 M arkov 链。 ②信源的状态和符号集设一般信源所处的状态，在每一状态下可能输出的符号。假设在任意时刻，当信源输出一个符号后，信源所处的状态将发生转移。信源输出的随机符号序列为，信源所处的随机状态序列为。设在第时刻，信源处于状态，输出符号的概率为 (2-29) ① 多符号离散平稳信源实际上就是原始信源在不断地发出符号，符号之间的统计关联关系也并不仅限于长度 N 之内，而是伸向无穷远。所以要研究实际信源，必须求出极限熵，才能确切地表达多符号离散平稳有记忆信源平均每发一个符号提供的信息量。 8

分享到：

赞收藏

资料库

北理工《信息论与编码》复习总结.pdf

相关推荐

行业

热门标签

最新资料