通信类研究生教材:现代编码理论
目 录
第 111
章 概述
1.1 数字通信系统模型
1.2 信道模型
1.3 差错控制系统和信道编码的分类
1.3.1 差错控制系统的分类
1.3.2 信道编码的分类
1.4 最大似然译码
1.5 信道编码定理
第 222
章 编码理论的数学基础
2.1 整数的一些基本知识
2.1.1 基本概念
2.1.2 Euclid 除法
2.1.3 最大公因数与 Euclid 算法
2.1.4 最小公倍数
2.1.5 同余和剩余类的概念
2.1.6 平方剩余
2.2 代数结构
2.2.1 群
2.2.2 环和域
2.2.3 子群和子环
2.2.4 有限域上的多项式
2.2.5 多项式剩余类环
2.2.6 有限域的结构
2.3 线性空间与矩阵
2.3.1 线性空间
2.3.2 矩阵
习题 2
第 333
3.1 分组码的基本概念
章 线性分组码
3.1.1 分组码的定义
3.1.2 Hamming 距离和 Hamming 重量
3.1.3 分组码的纠错能力
3.1.4 常见的分组码介绍
3.2 线性分组码的生成矩阵和校验矩阵
3.2.1 生成矩阵
3.2.2 校验矩阵
3.2.3 对偶码
3.3 完备码、Hamming 码和 Golay 码
3.3.1 完备码的定义
3.3.2 Hamming 码
3.3.3 Golay 码
3.4 伴随式与标准阵列及其译码
3.4.1 伴随式及伴随式译码
3.4.2 标准阵列
3.4.3 完全译码与限定距离译码
3.5 由已知码构造新码的方法
3.5.1 由一个已知码构造新码
3.5.2* 由多个已知码构造新码
3.5.3 交织码
3.6 分组码的重量分布与译码错误概率
3.6.1 分组码的重量分布
3.6.2 分组码的译码错误概率
3.7* 线性分组码的码限
3.8* 不等保护能力码
3.8.1 不等保护能力码的基本概念
3.8.2 线性不等保护能力码的生成矩阵和校验矩阵
习题 3
第 444
4.1 循环码的基本概念
章 循环码
4.1.1 循环码的定义
4.1.2 循环码的多项式描述
4.1.3 缩短循环码
4.2 循环码的生成多项式、生成矩阵和编码原理
4.2.1 循环码的生成多项式和编码原理
4.2.2 循环码的生成矩阵
4.2.3 系统循环码的编码方法和系统码的生成矩阵
4.3 循环码的一致校验多项式和校验矩阵
4.4 用多项式的根定义循环码
4.5 几种重要的循环码和 Reed-Muller 码
4.5.1 循环 Hamming 码和极长码
4.5.2* 平方剩余码和 Golay 码
4.5.3* Reed-Muller 码
4.6 循环码的编码电路
4.6.1 n-k级编码器
4.6.2 k级编码器
4.7 循环码的伴随式计算
4.8 循环码的译码电路
4.9* 纠突发错误循环码
4.9.1 循环码检测突发错误的能力
4.9.2 基本码限
4.9.3 纠随机错误循环码的纠突发能力
4.9.4 Fire 码
4.9.5 纠单个突发错误循环码的译码
4.10* 软译码的基本原理
4.10.1 软译码的基本概念
4.10.2 模拟电压的量化及其距离函数
4.10.3 码元可信度与量化电平的关系
4.9.4 编码增益与软增益
4.10.5 广义最小距离软译码算法
4.10.6 Chase 软译码算法
习题 4
第 555
5.1 BCH 码的定义及其性质
章 BCHBCHBCH
码
5.1.1 BCH 码的定义
5.1.2 BCH 码的距离限
5.1.3* 部分 BCH 码的重量分布
5.1.4* BCH 码的覆盖半径
5.2 二元 BCH 码及其扩展
5.2.1 二元 BCH 码
5.2.2* BCH 码的扩展
5.2.3 二元 BCH 码表及性能
5.3 RS 码
5.3.1 RS 码的定义
5.3.2 RS 码编码器
5.3.3 RS 码的扩展
5.4 BCH 码的一般译码技术
5.4.1 BCH 码译码的基本概念
5.4.2 Chien 搜索和伴随式计算电路
5.5 BCH 码的迭代译码算法
5.5.1 迭代译码算法的基本原理
5.5.2 二元 BCH 码迭代译码算法的简化
5.5.3 错误值的计算
5.6* BCH 码的纠错纠删译码
5.7* 级联码
习题 5
第 666
6.1 卷积码的基本概念
6.2 卷积码的描述方法
章 卷积码
6.2.1 卷积码的矩阵和多项式描述
6.2.2 卷积码的树图描述
6.2.3 卷积码的状态图描述
6.2.4 卷积码的网格图描述
6.3 卷积码的伴随式与纠错和距离概念
6.3.1 卷积码的伴随式计算
6.3.2 卷积码的纠错和距离的概念
6.4 卷积码的代数译码
6.5 卷积码的重量计数和恶性码
6.5.1 卷积码的重量计数
6.5.2 恶性码
6.6 卷积码的 Viterbi 译码
6.6.1 分支度量和路径度量
6.6.2 Viterbi 译码算法
6.6.3 实现 Viterbi 译码算法的一些具体考虑
6.7 Viterbi 算法的性能和适于 Viterbi 译码的卷积码
6.7.1 BSC 情况下 Viterbi 算法的性能
6.7.2 AWGN 信道下 Viterbi 算法的误码率
6.7.3 适于 Viterbi 译码的卷积码
6.8* 递归系统卷积码和删余卷积码
6.8.1 递归系统卷积码
6.8.2 删余卷积码
习题 6
第 777
7.1 Turbo 编码原理
Turbo
章 Turbo
Turbo
码
7.1.1 Turbo 并行级联编码结构
7.1.2 Turbo 串行级联编码结构
7.1.3 Turbo 混合级联编码结构
7.2 Turbo 译码原理与结构
7.2.1 Turbo 并行级联译码结构
7.2.2 Turbo 串行级联译码结构
7.2.3 Turbo 混合级联译码结构
7.3 Turbo 译码算法
7.3.1 BCJR 算法
7.3.2 MAP 算法
7.3.3 Log-MAP 和 Max-Log-MAP 算法
7.3.4 软输出 Viterbi 算法
7.3.5 MAP 类算法与 SOVA 算法的复杂性
7.4* Turbo 码的性能分析和性能限
7.4.1 Turbo 码的性能特点
7.4.2 设计参数对 Turbo 码性能的影响
7.4.3 Turbo 码的性能限
7.5* Turbo 码交织器
7.5.1 交织器的描述方法和设计准则
7.5.2 规则交织器
7.5.3 伪随机交织器
7.6* Turbo 分量码
习题 7
第 888
8.1 LDPC 码的定义和图模型描述
章 LDPCLDPCLDPC
码
8.1.1 LDPC 码的定义
8.1.2 LDPC 码的树图和 Tanner 图
8.1.3 LDPC 码的分类
8.2 LDPC 码的编码
8.2.1 基于三角形校验矩阵的编码
8.2.2 LDPC 码的迭代编码
8.3 LDPC 码的构造方法
8.3.1 Gallager LDPC 码构造法
8.3.2 Mackay LDPC 码构造法
8.3.3 Gilbert LDPC 码构造法
8.3.4 Euclid 有限几何 LDPC 码
8.3.5 射影有限几何 LDPC 码
8.3.6 基于 RS 码的 LDPC 码
8.4 LDPC 码的译码
8.4.1 位翻转译码算法
8.4.2 和积译码算法
8.5 LDPC 码的性能分析和性能限
8.5.1 LDPC 码的性能特点
8.5.2 LDPC 码的性能限
章 网格编码调制
习题 8
第 999
9.1 网格编码调制的理论依据和结构
9.1.1 网格编码调制的理论依据
9.1.2 网格编码调制器结构
9.2 n/(n+1)递归系统卷积码
9.3 信号映射与距离度量
9.3.1 正交调制和解调
9.3.2 分集映射
9.3.3 网格编码调制的距离度量
9.4 网格编码调制的 Viterbi 译码和性能估算
9.4.1 网格编码调制的 Viterbi 译码
9.4.2 网格编码调制的性能估算
9.5 旋转不变 TCM 码
9.5.1 差分与旋转不变
注:标注“*”号的章节为扩展内容。
9.5.2 ITU-T V.32 TCM 码方案
9.6 已知的 PSK 和 QAM 好网格码
9.7 多维网格编码调制
第 1 章 概述
第 1 章 概 述
随着微电子技术、通信技术和计算机技术的发展,新的通信业务和信息业务不断涌现,
用户对信息传输的质量要求不断提高。由于通信信道固有的噪声和衰落特性,或者存储媒介
的缺陷等原因,信号在信道传输(或存/取)过程中,必然会受到干扰而产生失真。通常需
要采用差错控制编码技术来检测和纠正由失真引起的传输错误。差错控制编码主要用于实现
信道纠错,因此,又称为纠错编码或信道编码。最早的差错控制编码主要是用于深空通信和
卫星通信,随着数字移动通信、数字电视以及高分辨率数字存储设备的出现,编码技术的应
用已经不仅局限于科研和军事领域,而是在各种实现信息交流和存储的设备中得到了成功的
应用。
1948 年信息论和编码理论的奠基人 C.E.Shannon[44]提出了著名的有噪信道编码定理。该
定理给出了在数字通信系统中实现可靠通信的方法,以及在特定信道上实现可靠通信的信息
传输速率的上限。同时,该定理还给出了有效的差错控制编码的存在性证明,从而促进了信
道编码理论的快速发展。
这一章首先介绍数字通信系统的基本结构和信道模型;在此基础上重点介绍差错控制编
码的分类,以及差错控制编码在数字通信系统中的地位和作用;最后简述最大似然译码的基
本原理和信道编码定理。
1.1 数字通信系统模型
采用某种方法、借助某种媒质将信息从甲地传送到乙地的过程叫通信。通信的目的是要
把对方不知道的消息及时可靠地(有时还须秘密地)传送给对方。通常要求通信系统传输消
息必须可靠与有效。在数字通信系统中,可靠性与有效性(也称为快速性)往往是一对矛盾 。
若要求有效,则必然使每个数据符号所占的时间缩短、波形变窄、能量减少,从而在受到干
扰后产生错误的可能性增加,传送消息的可靠性减低;若要求可靠,则使传送消息的速率变
慢。因此,如何较合理地解决可靠性与有效性这一对矛盾是正确设计通信系统的关键问题之
一。通信理论(包括纠错编码)就是在解决这对矛盾的过程中不断发展起来的。
所有数字通信系统,如通信、雷达、遥控遥测、数字存贮系统和计算机内部运算以及计
算机之间的数据传输等,都可归结成图 1.1 的模型。模型中各部分的功能如下:
}{s
信源
信源编码器
}{u
信道编码器
}ˆ{s
信宿
信源译码器
}ˆ{u
噪声源
}ˆ{c
信道译码器
}{c
}{e
}{r
调制器
(写入单元)
}{ sc
信道
(存贮媒质)
}ˆ{ sc
解调器
(读出单元)
- 1 -
现代编码理论
图 1.1 数字通信系统的基本组成结构
={u},通常,uuu
信源发出的消息(如语言、图像、文字、传感器输出的数据等)经信源编码器转换成离
散的数字信息序列 uuu
为二元序列,也可为多元序列。为了使传输有效,信源
编码器还去掉了一些与传输信息无关的多余度(冗余度)。有时为了保密,在信源编码器后
还可接上加密器。为了抗击传输过程中的各种干扰,往往要人为地增加一些多余度,使其具
有自动检错或纠错能力,该功能由图中的信道编码器(纠错编码器)完成。发射机(调制器)
的功能是把信道编码器送出的码字(码序列),通过调制变换成适合于信道传输的信号。数
字信号在信道传输过程中,总会遇到各种干扰而使信号失真。这种失真信号经信道传输到接
收端的接收机(解调器),经解调器解调变成二元(或多元)接收字(接收序列)。由于信道
干扰的影响,该接收序列中可能已有错误,经过信道译码器(纠错码译码器),对其中的错
误进行纠正,再通过信源译码器(及解密器)恢复成原来的消息送给信宿(用户)。
典型的传输信道包括有线信道、光纤信道、无线信道、卫星信道、磁记录信道、大气光
信道,以及水声信道等。
纠错编码理论关心的是图 1.1 中的信道编/译码器,即纠错编/译码器两个方框。为了研
究方便,将上述模型进一步简化成图 1.2 的模型。在此模型中,信源是指原来的信源和信源
编码器,其输出是二(多)元信息序列。信道是包括发射机、实际信道(或称传输媒质)和
接收机在内的广义信道(编码信道),它的输入是二(多)元数字序列,输出一般也是二(多 )
元数字序列。而图中的信宿可以是人或计算机。
等效离散
信 源
编码器
}{u
}{c
检、纠错码
编码器
噪声源
}{e
编码信道
}ˆ{c
}{r
检、纠错码
}ˆ{u
译码器
等效离散
信 宿
编码器
图 1.2 数字通信系统的简化模型
1.2 信道模型
由于噪声和干扰的影响,数字信息在信道中传输时常常发生错误,接收端必须进行判决
以确定发送端发送的是什么码元。通常有三种判决方法:
(1) 判决器硬性做出接收符号是 1 码元还是 0 码元的判决,这种判决方法称为硬判决;
(2) 判决器对可以做出正确判决的接收符号,分别判决为 1 码元或 0 码元;对没有把握
做出正确判决的接收符号,暂时搁置起来不作判决,并用“×”表示之,称为删除符号;
(3) 判决器在判决接收符号为 1 码元或 0 码元时,同时还附带一个可信程度的指标,这
种判决方法称为软判决。
描述数字信息传输特性的信道模型和信道错误类型与判决方法有关。下面是常见的几种
信道模型。
1.二元对称信道
最常见的信道模型是二元对称信道(BSC),如图 1.3 所示。这是一种最简单、最典型的
信道模型。对于加性 Gaussian 白噪声干扰的真实信道,BSC 是很好的信道模型。随机错误
- 2 -
硬判决译码所用的就是这种信道模型。
第 1 章 绪论
发
送
码
元
0
1
)01(p
)10(p
1)00(p
1)11(p
图 1.3 二元对称信道
接
收
码
元
0
1
2.离散无记忆信道
离散无记忆信道(DMC)是一种 r元输入、q元输出的信道模型。由于数字通信常采用
二元形式,通常取 r=2。当接收端对接收符号进行软判决译码时,为了从解调器得到输出码
元的可信度信息,常常将信道输出符号量化成 q(通常取 q=4 或 8)个电平。
例如量化成 0,1,…,7 共 8 个电平值,若接收符号 0 是可信度最高的 0 码元,接收符号 7
是可信度最高的 1 码元,则接收符号 4,5,6 译成 1 码元时,离 7 越远可信度就越差;同理,
接收符号 1,2,3 译成 0 码元时,离 0 越远可信度也越差。
图 1.4 是二元输入、q元输出的 DMC 信道模型。
发
送
码
元
0
1
)00(p
)01(p
)10(p
)11(p
( qp
)11
( qp
)01
0
1
接
收
码
元
1q
图 1.4 二元输入、q电平输出 DMC 信道模型
3.二元删除信道
二元删除信道如图 1.5 所示。当发现某位码元可信度不够,难以确切地判定是什么码元
时,暂时将该位用符号“×”标出,分别将该位置按×=0 和×=1 进行最大似然译码。选择与
接收序列最相似的码字作为发送码字。由于删除符号的位置是已知的,因此,纠正删除错误
的译码器较为容易实现。
发
送
码
元
0
1
1
1
接
收
码
元
0
1
图 1.5 二元删除信道
4.二元混合信道
二元混合信道兼具二元对称信道和二元删除信道的性质。既有 1 码元错成 0 码元和 0 码
元错成 1 码元,也有不能肯定而暂时删除。
- 3 -
现代编码理论
例如,8 电平量化时,如果规定接收符号 0,1,2 译成 0 码元,接收符号 5,6,7 译成 1 码元,
接收符号 3,4 被认为是删除符号,则该信道模型就是二元混合信道。图 1.6 是混合信道模型
示意图。如果发送符号 0 时,接收符号 2 则译成 0 码元;接收符号 3 则被删除;接收符号 5
则译成 1 码元,此时发生错误译码。
发
送
码
元
0
1
1
1
1
2
1
1
2
1
2
2
接
收
码
元
0
1
图 1.6 二元混合信道
5.二元 Z信道
二元 Z信道中,一种码元永远不会出错,另一种码元则可能出错。这是大规模集成电路
存储器、磁盘和磁带等缺陷所属的信道模型,这类错误称为单向错误。图 1.7 是二元 Z信道
模型示意图。
发
送
码
元
0
1
1
1
接
收
码
元
0
1
图 1.7 二元 Z信道
6.突发信道
在数据通信系统中,某些信道(如无线信道、某些有线信道、数字存储系统等)由于噪
声和干扰或读写头接触不良,所引起的错误往往不是随机错误,而是成群成串地出现。这种
产生比较密集错误的信道称为突发信道,或有记忆信道。
Gilbert
链模型,或 Gilbert
Gilbert
描述这种突发信道的模型很多,其中一个比较常用的突发信道模型如图 1.8 所示,称为
Markov
双状态 Markov
Markov
信道。该模型说明,信道
的状态有好(G)或坏(B)两种状态。当处于 G状态时,信道不产生错误;当处于 B状态
时,以 1-ε1 的概率产生错误。B和 G两个状态之间分别以概率ε2 和ε1 转移,信道停留在状态
B或 G状态的概率分别为 1-ε1 和 1-ε2。
Gilbert
模型,相应的信道称为 Gilbert
Gilbert
1
2
G
1
2
B
1
1
图 1.8 Gilbert 信道模型
1.3 差错控制系统和信道编码的分类
1.3.1 差错控制系统的分类
差错控制的方式基本上有两类,一类是当接收端检测到传输的码字有错误以后,收端译
- 4 -
码器自动地纠正错误;另一类是接收端检测到传输的码字有错误以后,通过反馈信道发送一
个应答信号,要求发端重传接收端认为有错误的消息,从而达到纠正错误的目的。较详细的
区别如图 1.9 所示,其中,系统中标有阴影的方框部分具有纠错或检错功能。
第 1 章 绪论
FEC
ARQ
HEC
IRQ
发端
可以纠正错误的码
收端
能够发现错误的码
应答信号
信息信号
应答信号
信息信号
信息信号
图 1.9 差错控制的基本方式
1.前向纠错方式
利用前向纠错(FEC)方式通行差错控制的数字通信系统如图 1.2 所示。发送端发送能
够纠正传输错误的码。接收端收到这些码后,通过纠错译码器不仅能自动地发现错误,而且
能自动地纠正在码字传输中产生的错误。
FEC 方式的优点是不需要反馈信道,能进行一个用户对多个用户的同播通信,译码实时
性较好,控制电路简单。
FEC 方式的缺点是译码设备较复杂,所选用的纠错码必须与信道的干扰情况匹配,因而
对信道的适应性较差;为了获得比较低的误码率,必须在最坏的信道条件下来设计纠错码,
需要的多余度码元比检错码要多很多,编码效率低。
但是,由于 FEC 方式能同播,特别适用于军事通信,并且随着编码理论的发展和编译
码成本的不断降低,在实际通信系统中已得到广泛应用。例如在深空和卫星信道中,卷积码
已经成为一个标准的技术。
2.重传反馈方式
应用重传反馈(ARQ)方式纠错的通信系统如图 1.10 所示。发送端发送能够发现(检
测)传输错误的码。接收端收到这些码后,在译码器根据该码的编码规则,判决收到的接收
序列有无错误产生,并通过反馈信道把判决结果用判决信号告诉发送端。发送端根据这些判
决信号,把接收端认为有错的消息再次传送,直到接收端认为正确接收为止。
ARQ 的主要优点是只需要少量的多余码元(一般为总码元的 5~20%)就能获得极低的
输出误码率;所使用的检错码基本上与信道的错误统计特性无关;对各种信道的不同错误特
性,有一定的自适应能力。只要设计得好都能达到设计中所要求的误码率,这是 ARQ 方式
的最大优点。ARQ 检错译码器与 FEC 纠错译码器相比,其成本和复杂性均要低得多。
ARQ 方式的主要缺点是必须有反馈信道,不能用于单向传输系统,也难以用于同播系
统,并且实现控制比较复杂;当信道干扰增大时,整个系统可能处在重传循环中,因而通信
效率减低,在某些情况下甚至不能通信;由于反馈重传的随机性,接收端送给用户的数据信
息也是随机到达的,不大适于实时传输系统。
- 5 -