目录
第 1 章 敷字通偏概述 …………………… 1
2.11 习题……… …… ……… …… .41
1.1标准化接口及分层…… …… …… ..2 第 3 意 量化… ………… … …………. .48
1.2 倍源…… … ………… ……… 4
3.1 引言………………………… ..48
1.3 倍道…………………………… .5
3.2 标量量化… …… ……… …… … 49
1.3.1 信道编码(调制) … ………… 7
3.2.1 给定代褒点时的区间设计… ..49
1.3.2 纠错……………………… 7
3.2.2 给定 区问时的代表点设计 … . .50
1.4 数字接口…… …………………. . 8
3.2.3 Lloyd-Ma.x算法…… …… . 50
1.5 补充读物..…… ……………… .10
3.3 矢量量化 ………… ……… … …·日
第 2 章 离徽倍源的编码 …… ……… …… 12
3.4 偏编码量化 ……… … … … …… 四
2.1 引言… …………… … …… ….. 12
3.5 高速率下的煽编码量化…… …….. 53
2.2 离散倍源的等长编码 … ………… .. 13
3.6 微分煽… ………… …… … …… 54
2.3 离散倍源的变长编码 …………… ..14
3.7 高速率均匀标量量化糠的性能 …… ..55
2.3.1 唯一可译位 …… ……… … . 15
3.8 高速率二维量化……… ……… … 57
2.3.2 离散信源的无前缀编码……. 15
3.9 本章小结…… …… …… ……… . 60
2.3.3 无前缀码的克拉夫特不等式 … 17
3.10 附录…… ……… ………… … .60
2.4 离散信源的概率模型…………… ..19
3.10.1 非均匀标量量化………… .60
2.5 元前缀码的最小 Z ……… ……… 20
3.10.2 非均匀二维量化………… .62
3.11 习题…… ……… …… … …… .63
小值… …… ……… …… 1. 20 第 4 拿 僧源波形与情遭波形 …………… .66
4.1 引言…… ……… ……… …… .. 66
4.1.1 模拟借源 … ……………… 66
4.1.2 通信信道………………… 67
4.2 傅里叶级数… …… …… ……… . 68
4.3
2.5.2 王的煽界 … ………… …… 21
2.5.3 用于最佳倍源编码的霍夫曼
2.5.1 拉格朗日第数法求解王的绿
算法……... ... . .... .…… ..23
2.6 煽及等长4变长编码 … …… …… .. 26
2.7 渐远等同性及信源编码定理… …… . 28
2.7.1 弱大数定律…………… … . 28
2.7.2 渐近等同性……………… .29
2.7.3 倍源编码定理- ………… .32
2.7.4 一般编码的燎界…… …… .32
2.8 马氏倍源……………………… .33
2.8.1 马氏信源的编码………… .35
2.8.2 条件娟 ………… …… ….. 35
2.9 Lcmpel-Ziv 通用敬据压缩… …….. 37
2.9.1 LZ77 算法……………… 37
2.9.2 LZ77 的原理…… - …… … 38
2.9.3 讨论…… …… ……… … .39
2.10 本意小结…………………… … 40
1:.2 函数及 ←T/2, T/2J 上的勒贝格
积分…… . ............ . ... . ... .… .71
4.3.1 区间井的勒贝格测度 ……… .73
4.3.2 一般集合的测度 ………… . .73
4.3.3 区间 [-T/2, T/2J 上的可测函
数及积分……...... ... .… ..75
4.3.4 由其他函数定义的函数的可
测性……..……… …… . 77
4,3.5 区问 [-T/2, T/2) 上的 L 函
数及 1:.2 函数… ………… ..77
4.4 马波形的傅墨叶级数…… …… … .78
4.5 乌波形的傅里叶变换…………… .81
4.5.1 R 上的测度与积分………… 83
2 目录
4.6 DTFT 及抽样定理…… ……… . . 86
4.6.1 离散时问傅皇叶变换……… .86
4.6.2 抽样定理………………. .87
4.6.3 ~墨子来样波形的信源编码… ..89
4.6.4 (A - W, A+ W) 上的抽样,
定犁. . . . . . . . . . . . . . . . . . . . . . . . . 89
4.7 混叠放 sinc Jm权的复正弦展开…… .90
4.7.1 T 间隔 sinc 加权复正弦
4.5.2 向函数的傅里叶变换…… ..84 第 6 j撞 倍遭、调制与解调…………… .131
6.1 引言………… ……… …… .131
6.2 脉幅调制(P.灿!) ……………… . 133
6.2.1 信号星应 ………… ……. .133
6.2.2 倍道的不理想因素简述…… 134
6.2.3 调制脉冲设计 …………… 135
6.2.4 PAM 解调… ………… … 136
6.3 奈奎斯特准则………………… .137
频于普边缘对称 …·… …… 138
将{P(t - kT) ; k εZ} 设计
为正则集 …… ………… .139
PAM 和模拟倍源编码的
关系…………… . . … .140
6.4 调制:基带到频带 、 频带到基带 .....141
6.5 正交幅度调制 (QAM) ….. …… .142
6.5.1 QAM 信号集 ……… … … . 143
6.5.2 QAM 基带调制与解调…… .143
6.5.3 QAM : 基带与 4普通之间的
展开… …...........……… 90
4.7.2 自由度………………… ..91
4.7.3 混叠-时域特性… ……… .. 92
4.7.4
1钮'在-频域特性… ……… . .93
4.8 本意小结………………… …… . 94
4.9 附录:补充材料及证明…………… 95
4.9.1 可数集………………… ..95
4.9.2 卜TI2, TI2) 上区间的有限
6.3.1
6.3.2
6.3.3
并………..........…… ..97
4.9.3 阪问 I-Tf2 , Tf2) 上 的可数
并且外测度………… ......97
4.9.4 区间 I-Tf2, Tf2) 上的任~
可测集.. . ..-.... .. ... .…… 1∞
4.10 习题…… ………………… .. 102
第 5 章 向量空间与情号空间…… ……… 110
5.1 向盘空间的公理和基本性质……… 110
5.2 内积空间 …..
5.2.1 内积空间]R"和 C内
5.2.2 一飨投影………… ……..
5.2.3 乌函数的内积空间 ……… .11 6
5.2.4 内积空间的子空间… …… .116
5.3 正则基及投影定理………… …… 117
5.3.1 有限维投影………… …. . 117
5.3.2 投影定湿的推论…………. 118
5.3.3 格拉姆-施密特正则化 …… . 119
5.3.4 岛中的正则展开………… 120
5.4 本意小纺…………………… ..122
5.5 附录:补充材料及证明........ . .… 122
5.5.1 静朗歇尔定理……… … .122
5.5.2 抽样定理和混叠定程… … .125
5.5.3 椭球波 ………………… .127
5.6 习题………………………… 128
交换……………… … 144
6.5.4 QAM 的实现 …………… .145
6.6 俏号空间与自由度 ……………… 146
6.7 QAM 系统中的载汲恢复……… 148
6.7.1 有噪声时的相位跟踪…… . . 149
6.7.2 大相位误差…… ……….. 150
6.8 本就小结………………… … . .150
6.9 习题……… ……… … … ..150
第 7 章 随机过程与噪声 …· ……… 156
引言… … ……………… .....156
7.2 随机过程…… …………… … .156
7.2.1 随机过程示例………… ..157
7.2.2 随机过程的均值与协方差… .158
7.2.3 加性噪声信道 ....... ...... . .159
7.3 高斯随机变量、高斯随机向量及高
斯过瘾…… …… …………… 160
7.3.1 联合商斯随机向量的协方差
矩阵… ….. ...... ... .… … 161
7.3.2 联合商斯随机向量的概率
密度… …… …… . .162
7.3.3 二维零均值高斯随机向是… .164
7.3.4 Z = AW, A 是正交矩阵… ..164
目录 3
7.3.5 高斯向量按主轴表示的概率
8.3.5 自 高新噪声下二元对极波形
密度……………… … ...165
7.3.6 联合密度的傅里叶变换…… 166
7.4 随机过程的线性泛函和滤波 …… 166
7.4.1 按正则展开定义的高斯
过程………………… . 167
7.4.2 高斯过程的线性滤波…… ..168
7.4.3 线性泛函及滤波输出的协
7.5 平稳性及相关概念 ,
方差 ………………… 169
. , .………… .170
7.5.1 广义平稳随机过程……… . .171
7.5.2 随机过程的有效平稳及有
效广义平稳…………… 172
7.5.3 有效广义平稳过程的线性
泛函……………… … . 173
7.5.4 有效广义平稳过程的线性
滤波………….. …… 173
7.6 频域的平稳性 ...... ... . .. . ... .... .
. 175
7.7 自 高新噪声. . ..... . . ..... .. ..…… 176
7.7.1 用 sinc 展开来近似白离斯
噪声…………… · … .178
7.7.2 泊松噪声过程…… … …… 178
7.8 叠加了噪声的调制通信………… 179
. .. .. ..182
7.9 信噪比 .. . ... . .. . ...... .. . .. .
7 .10 本意小结…………… … …… . . 184
7.11 附录:补充问题…… e ……… .185
7.11.1 协方差矩阵的性质…..... . 185
7.11.2 截短随机过程的傅里叶级数
展开……… … … … ..186
7.1 1.3 系数不相关 的傅里叶级数… 187
7.11.4 卡亨商-洛维展开……… 190
7.12 习题 …………… ........ . .190
第 8 章 检测及编译码………………. .194
8.1 引言…· …… … … … … . ..194
. . . . .. .... ....…… 196
8.2 二元检测 ... ... .
8.3 自 高斯噪声 中的二进制信号……… 197
8.3.1 PAM 对极信号的检测…… . 1 98
8.3.2 二无非对极信号的检测 … 199
8.3.3 臼高斯噪声下二元实向蠢的
检测 .. .
. . ......... . ... .. ....200
8.3.4 自高斯噪声下工元复向量的
检测………………… ..202
的检测……........ . .
. …. .203
8.4 M 进制检测及序列检测………… 207
8.4.1 M 逃制检测……………. .207
8 .4.2 自高斯噪声下 QAM 信号的
连续传输……………… .208
8.4.3 任意调制方式下的检测· … 210
8.5 正交信号集合以及简单的信道编
码…………………… 212
8.5.1 单形信号集…………… .212
8.5.2 双正交信号集…………… 213
8.5.3 正交信号集的错误概率…… 213
8.6 分组码……………………… 216
8.6. 1 二进制正交码及哈达玛
矩阵……. . ... .
. .. ....每… 216
8 .6.2 里德穆勒码…….. … ..218
8.7 有噪信道编码定理……………… 219
8.7.1 离散无记忆信道… … … … 220
8.7.2 容量………… … ……… 221
8.7.3 有噪信道编码定理的逆
定理……… … ……..… 222
8.7.4 有噪信道编码定理的正
定理………·……… 223
8.7.5 自高斯噪声信道的有噪信·道
编码定理………… … .225
8.8 卷积码……………………… 226
8.8.1 卷积码的译码… …… …… 228
8.8.2 维特比算法…………… ..228
8.9 本意小结…… ……… … … .230
8.10 附录 z 纽曼-皮尔逊门限检验 … … .230
8.11 习题……………………… 234
第 9 章 无线戴字通信………………… 239
9.1 引言 ……………………· … 239
9 .2 无线信道的物理模型…………. .241
9.2.1 自由空间、固定天线……… 242
9.2.2 自由空间、移动天线…… ..243
9.2.3 移动天线、反射罐……… ..244
9.2.4 地面反射· …………… .245
9.2.5 阴影….. … …… … … ..246
9.2.6 移动天线、多个反射…… ..246
9.3 无线信道的输入输出模型……… ..246
4
自
录
9.3.1 线性时变系统的系统函数和
1中激响应…...........… ..247
9.3.2 多曾勒扩展及相干时问…… 249
9.3.3 时延扩展和相干频率 …… ..251
9.4 基带系统函数和冲激响应……… ..253
9.5 统计信道模型… … … ………… .257
9.6 数据检测………………… … 259
9.6.1 瑞利平衰落条件下的二元
检测……............…… 260
9.6.2 己知信道幅度时的非相干
检测………………… ..262
9.6.3 莱斯平衰落中的非相干
检测……………… … ..263
9.7 倍道测量…………… ……… 265
9.7.1 用探测序列估计信道…… .265
9.7.2 瑞克接收机 ………… … ..269
9.8 分集………………………… .271
9.9 CDMA: 1895 标准 … ………… ..273
9.9.1 语音压缩………………. .274
9.9.2 信道编码与译码………… 275
9.9.3 衰落信道中的维特比译码… . 275
9.9.4 调制和解调 …………… .276
9.9.5
18缸中的多址干扰……… .278
9.10 本意小结……………………. .279
9.11 附录2 非相干检测的错误概率…… 280
9.12 习题………………………… 281
参考文献………..…… ………… …… .286
索引 ………….. ... ......... ..... …… 288
第 1 章 数字通信概述
自有文字记载以来,通信一直是人类最重要的需求之一。形成社会团体、教育年轻人、
表达情感、表述愿望都离不开通信。通信交流的顺畅是文明社会的核心。
工程中的各种通信方式是对人类通信交流的技术支持,古代的烽火信号、擂鼓正是如此。
本书所说的通信技术是指以电报的诞生为标志的通信技术,包括后来出现的电话通信、视频
通信、计算机通信,以及时下在各种廉价便携式设备上使用的通信方式。
这些技术最初是按各自不同的网络单独发展的,彼此没有多少相同之处。随着网络的不
断扩张,网络的各个部分势必需要协调工作,而不同的部件又是在不同的年代按照不同的设
计思路开发的。为此,出 于网络可持续发展的目的,人们开始关注它背后的基本原理。
最早意识到这一点的是美国电报电话公司 (AT&T). AT&T 成立了贝尔实验室这样一个
研发部门。贝尔实验室的数学中心一直主导着全世界的通信研究,这个地位直到最近不久才
有所改变。通信原理的许多核心概念都是由贝尔实验室数学中心提出的。
贝尔实验室数学中心最大的贡献莫过于克劳德·香农 1948 年创立的信息论。在信息论
诞生后的最初 25 年,人们对它的看法是:理论上很不错, 但对实际通信系统的设计没有太大
的意义。后来,随着元器件技术不断成熟, 随着工程界对信息论有了更多的理解,信息论才成
为开发通信系统的指导原则。
本书将介绍信息论方面的基本概念及其对通信系统设计的作用。核心概念有两点:一
是认为所有通信信源, 例如语音、图像、文本等,都可以表示为二进制序列; 二是通信系统的
设计应当先将信源输出转换为二进制序列,再将这个序列转换为适合特定物理媒质传输的形
式,这些物理媒质包括电缆 、双绞线、光纤、空间电磁波等。
顾名思义,敛字通信系统 (digital cornmunication system) 就是采用这种数字序列 ①作为
接口,连接信源输出和信道输入、信道输出和信宿输入, 如固 1- 1 所示。
图 1- 1 在信源和信道之间设置一个二进制接口。信源编码器将信源输出转换为二进制序列.信道编码
器(常称为调制器)对这个序列进行处理,以便通过信道进行传输.信道译码器(解调器)重建输
入的二进制序列,我们预期重建的结果是可靠的。信源译码器则重建信源输出
①数字序列是指序列的元索取值于有限字符集,例如二进制数 {O, l} 、十迹和j敛 {O, 1 ,..., 9} 、英文字母等.数
字通信和数字存储中使用的几乎都是二选制,因此除了个别必要的情形外,本书对数字序列和二进制序列不加
区分 .
2 第 1 章数字通信概述
在 1948 年那个时代,提出将模拟信源输出转换为二进制序列这样的想法是具有革命性
的,提出在信道处理之前就进行这种转换更是超前。而在今天,数码相机、数字摄像机、数字
语音等实例充分表明,将任意信源转换为二进制序列是很普通的事情,就连那些抵触现代科
学技术的人也不怀疑这一点。在信道传输之前采用二进制接口也非常普遍,例如人们经常提
到的互联网网速就是用每秒多少比特来度量的。
为什么现在的通信系统一般要在信源和信道之间设计一个二进制接口?或者说为什么
数字通信是当今的标准形式?原因有很多。本书将陆续给出论证,简单来说有下面几点。
·数字电路成本低廉 、性能可靠、易于小型化这些特点使数字接口成为现实。
·在信源和信道之间设置一个二进制接 口不仅能简化系统的设计,同时也能简化我们对
系统的理解,这是因为它能使信源编译码独立于信道,信道编译码独立于信源。
· 信源和信道之间的 二进制接口能简化网络我们只需要通过网络发送二进制序列
即可.
·香农信息论有一个重要结论:如果我们能够以某种任意方式通过信道传输信源,则
定也能通过二进制接口传输该信源。这就是著名的信源/信道分离定理。
本章接下来将简要介绍信源编译码、信道编译码中的问题。首先要介绍的是通信系统分
层的概念。图 1-1 是一个重要的例子,在这个例子中 , 信源编译码和信道编译码分属于不同
的层。
1.1 标准化接口及分层
公众电话交换网 (PSTN) 和互联网之类的大型通信系统都很复杂,它们包含大量不同的
设备, 这些设备往往来自不同的厂商, 并且经常是在不同的时间,按照不同的设计原则生产
的。为了便于理解、管理和维护,需要让这种复杂网络遵循一些简单的原则。有两个基本原
则:标准化接口 (standardized interface) 和分层 (layering)。
标准化接口便接口 一侧的用户或设备不用关心接口另 一侧的具体细节,只需要考虑接口
所规定的一些特性。例如图川中的二进制接口 @ 使得信源编译码可以独立于信道编译码而
单独实现。
通信系统中分层的思想就是把通信功能拆成一系列单独的层,如图 1-2 所示。
每个层由通信系统输入侧的一个输入模块和另 一侧对等的输出模块构成。第 4 层的输
入模块处理来自第 i+1 层的信息,然后发送给第 i-1 层。第 4 层的对等输出模块以相反的
方向工作:处理来自 i-1 层的信息并将其发送给第 i+ 1 层。
例如 , 输入模块从相邻的高一层收到一个语音信号,将其转换为 二进制数据序列,然后
发给相邻的低一层 。输出对等模块从相邻的低一层收到一个二进制序列, 将这个序列转换回
语音信号。
再比如,调制解调器 (modem) 由一个输入模块(调制器)和一个输出模块(解调器)组
成。调制器从相邻的更高层收到二进制序列,产生出相应的调制波形通过信道传输。对等模
块是信道远端的解调器。它收到的是多少有些变形的发送信号,解调器一般能产生出和发送
①后面将看到,规定出 一个孩口并不仅仅是规定使用 二进制序列.
1.1 标准化接口及分层 3
端一致的二进制序列。因此,调制解调器是一个输入模块用 于一个方向的通信, 一个输出模
块用于相反方向的另一个通信。本书后面将对调制解调器进行更深入的讨论,包括噪声对信
道波形的作用 , 对输出端恢复序列可靠性的影响等。此处只需要认识到调制器将二进制序列
转换为波形,对等的解调器把波形复原为 二进制序列。
明
削
-
V
掌
声
,
1
口
层第
斗
的
到
接
←
口
句
,
"
据第
圈 1-2 分层与接口.第 4 层和第 i -
1 层之间的接口应当规定输入模块 4 和输入模块 i - 1 之间的通
信, 以及输出侧相应模块之间的通信,尤为重要的是规定接口右侧系统的输入输出行为。第 i-l
层的设计者根据其右侧的输入行为进行设计3 其设计满足第 t 层对其右侧输入输出性能的要求。
后面我们将看到 , 这种方式能够简化系统的整体设计
再举一个例子。在图 1-3 中 , 我们把波形信源的信源编译码分成了 3 层 。这样分的一个
好处是,离散信源本身就是一个值得研究的问题(见第 2 章),它对应图 1-3 的最内层,量化
也是一个重要的问题 (见第 3 章)。 理解 了 这些内容之后, 波形信源的问题就会变得很简单。
盘虫
波形
图 1-3 将被形信源的 信源编译码拆成 3 层。输入侧的最外 一层将波形转换为样值序列 , 输出侧将恢复
的样值还原为波形。量化器将每个样值转换为取值于有限集合的符号, 其对等模块重建样值(有
一定失真) . 最内层则将符号序列编码为二迸制数字
信道编译码也可以拆成多层,具体拆法不一,将在后面讨论。例如可以将二进制纠错编
译码作为外层,将调制解调作为内层。不过如下文所述,将这两层合在一起形成编码调制①也
有许多好处。即使如此,分层也很重要,只是对于不同的目的,可以有不同的分层定义。
需要强调的是, 分层并不只是简单地把系统分成不同的部件。每一层的输入和对等输出
封装在所有低层 中。 所有低层总体可看成一个通信信道。同样也可以简单地把高层总体看成
信源和信宿。
上面关于分层的讨论隐含假设了点到点通信 一一 只有一个信源、 一个信道和一个信宿。
网络通信的情形有可能相 当复杂。在广播通信中 , 某一层的输入模块有多个对等的输出模块。
①这里的术语并不是标准的 .信道编码器包括调制和编码本书以及其他文献经常把信道编码器称作调制器.我
们也经常把信边编码器称作调制解满器 . 不过, 调制解调器这种设备实际上包括- 个调制器和一个解调器,调ltiJ
器用于一个方向 的通信, 解调德用 于另 一个方向的通信.
4 第 1 章数字通信概述
在多址通信中,多个输入模块有一个对等的输出模块。还有可能某一级的单个模块需要 同相
邻高一层或低一层的多个模块进行接口。分层这个概念对于网络的重要性丝毫不比点到点
通信差。网络的物理层其实就是我们这里所说的信道编译码层,只是网络方面的教材一般不
会深入讨论这一问题。其他层中的网络控制问题在很大程度上可以和本书所侧重的物理层
通信问题分开。有关网络控制方面的问题请参见参考文献 [IJ.
后续 3 节将进一步讨论图 1- 1 的各个组成部分即点到点数字通信系统中最基本的两层
一一 信源编译码和信道编译码,以及它们之间的接口。
1.2 信源
信源可以是离散的,即信源产生的是一个 由离散符号(例如英文字母或汉字)组成的序
列。信源也可以是一个模拟波形,例如麦克风产生的语音信号 、 传感器的输出、视频波形等。
信源输出也可以是一个图片序列,例如 X 光片、照片等。
不管信源实际是什么,其输出都能表示为随机过程的样本函数。为什么必须要把信源建
模为随机的,其原因似乎不那么明显。的确, 在香农 1948 年提出信息论之前,这种建模方式
并不被人们认同。
1948 年之前对通信的研究(也包括 1948 年之后的许多研究)是基于傅里叶分析的。它
把信源的输出看成正弦波的叠加,因此主要研究的是正弦波通过各种系统和器件后的效果。
本书也将以这种方法(常称为奈奎斯特理论)来研究信道, 以便得到来样、码间干扰和带宽
方面的一些基本结论。
在香农看来,如果接收者知道通信的内容是给定频率的正弦披,那么接收者只需要在输
出端直接产生这个正弦波, 何必进行长距离传输?如果说接收者知道是正弦波,但不知道频
率,也只需发送频率的数值,何必发送整个波形?
香农观点的核心是,信源的特定输出并不重要,重要的是所有可能输出的集合。通信系
统应当告诉对方,在所有可能的信濒输出中 , 实际发生的是哪一个。因此, 通信系统的设计目
标就是把每个可能的信源输出变换为这样一种信号, 这些信号在信道的输出端能被最佳地区
分。对于这个可能的信源输出的集合, 我们需要用 一种概率测度来区分典型输出和非典型输
出。本书将以这种观点展开对所有通信问题的讨论。
信源编码
图 1-1 中信源编码器的功能是将输入从其原始形式转换为比特序列。将信源转换为二进
制序列这种方法己经很普遍,其原因如前所述,主要是低成本数字电路、标准化接口、分层
以及信源/信道分离定理。
最简单的离散信源编码是将每个信源符号逐γ表示为 二进制数组。例如英文字母加上
空格共有 27 个,可以将其编码为 5 bit 长的数组。 5 bit 数组有 32 种组合,因此每个字母都
可以唯一地映射为一个数组,剩下的一些数组可用于控制目的或用于其他符号。类似地. 如
果需要考虑大小写字母和特殊符号, 可以用标准 ASCII 码将其转换为 8 bit 数组(字节)。
第 2 章所讨论的离散信源编码是上述这些技术的一般化。例如,可 以先将输入的符号序
列按 m 长进行分段, 然后映射为 二进制 数组。 二进制数组的更一般化情形是变长的二进制