随 机 过 程 理 论 与 应 用
樊平毅 编著
清 华 大 学 出 版 社
北 京
内 容 简 介
本书参考了国际一流大学相关的研究生课程的教学内容 ,增加了许多近年来随机过程理论与应用
方面的研究新成果 .围绕现代随机过程的理论 、方法及其工程应用背景和发展前景作了深入细致的讨
论 ,着重论述了基本理论及其应用潜力 ,强化计算与编程方面的理论分析 ,力求在内容的广度和深度上
与国际水平接轨 .
本书内容包括 :随机过程的基本概念和分类 、平稳过程与二阶矩过程 、离散鞅论 、Poisson 过程与更
新过程 、Brown 运动 、Markov 链与连接参数 Markov 过程等 .同时在内容的处理上通过讨论和注解的方
式使之层次分明 ,以适应不同类型读者的需求 .
本书是现代应用随机过程理论的入门教材 ,可作为高年级本科生及研究生的必修课教材 ,也可作为
本科生 、研究生 、教师 、科研与工程技术人员的参考书 .
版权所有 ,翻印必究 .举报电话 :010唱62782989 13501256678 13801310933
本书封面贴有清华大学出版社防伪标签 ,无标签者不得销售 .
本书防伪标签采用特殊防伪技术 ,用户可通过在图案表面涂抹清水 ,图案消失 ,水干后图案复现 ;或将表
面膜揭下 ,放在白纸上用彩笔涂抹 ,图案在白纸上再现的方法识别真伪 .
图书在版编目(CIP)数据
随机过程理论与应用/樊平毅编著 . — 北京 :清华大学出版社 ,2005畅8
ISBN 7唱302唱11423唱4
Ⅰ .随 … Ⅱ .樊 … Ⅲ .随机过程 - 高等学校 - 教材 Ⅳ .O211畅6
中国版本图书馆 CIP 数据核字(2005)第 082166 号
出 版 者 :清华大学出版社
http ://www .tup .com .cn
社 总 机 :010唱62770175
址 :北京清华大学学研大厦
编 :100084
地
邮
客户服务 :010唱62776969
责任编辑 :刘 颖
封面设计 :
印 装 者 :
发 行 者 :新华书店总店北京发行所
开
版
书
印
定
本 :185 × 230 印张 :15畅5 字数 :330千字
次 :2005 年 8 月第 1 版 2005 年 8 月第
号 :ISBN 7唱302唱11423唱4/O · 488
数 :1 ~ 0000
价 :00 .00 元
1 次印刷
前 言
本书是作者在清华大学为电子工程 、计算机科学与技术 、自动化和生物医学与工程等
系的研究生授课的讲稿基础上加以整理 、扩充和完善的结果 .
本书的特点在于 :
(1) 对读者所需的数学基础要求的起点较低 :读者只需具备微积分 、概率论和线性代
数的基本知识 .
(2) 着重揭示一些基本概念的来源及背景 ,加强了对基本理论应用潜力的探讨 .
(3) 在每一章中 ,力求能够反映基本理论的概貌和在工程中可能的使用模式 ,加深读
者对相关知识的理解 .
(4) 结合应用 ,加强了计算与编程方面的理论分析 ,给出相关的矩阵算法和统一的编
程模式 .
(5) 本书的内容要点致力于反映本学科在现代科学技术应用中所必须具备的基础知
识和基本技巧 ,有助于开展相关学科领域的科学研究 .
(6) 内容 的 选 材 和 设 置 以国 际 一 流 大 学 (如 MIT ,Berkeley ,Cornell ,Gatech ,
Caltech 等) 同类专业或相近专业的研究生课程为参考 ,力求在内容上呈现同等的广度和
深度 .
(7) 展示了现代随机过程基础理论研究和应用最为活跃的一些领域的基本思想和
方法 .
本书是现代应用随机过程理论的入门教材 ,可作为高年级本科生及研究生的必修课
教材 ,也可作为本科生 、研究生 、教师 、科研与工程技术人员的参考书 .
本书的撰写原则是 ,强调理论的背景与思路 ,从应用的角度 ,力求内容的广度和深度
与国际先进水平接轨 .对于命题与定理的处理 ,强调了证明的思路 ,不追究数学上的严格
性 .对于一些重要的概念与定理的理解 ,采用了讨论和注解模式 ,进一步揭示了其理论内
涵和潜在的应用方式 ,例如对 Markov 链转移概率基本关系式 ,我们从 5 个方面加以讨
论 ,解释它的应用 ;对于 Metropolis 算法 ,我们从 3 个方面进行了理论分析 .深刻体会和
Ⅱ
随机过程理论与应用
理解如何灵活运用随机过程理论是本书撰写中反复强调的重点 .作者希望通过这些讨论
和注解使读者能更深刻地体会随机过程理论的实质 .此外 ,这些注解和讨论也使本书在内
容的层次化处理上更具灵活性 ,对于那些只强调理论应用的读者 ,可以跳过一些繁琐的理
论证明 ,通过阅读有关定理 、注解及讨论就可体会其本质 .而对于那些追求理论分析技巧
的读者 ,可以通过仔细阅读本书提供的引理和理论证明 ,提高其数学分析的能力 .
本书的内容组织如下 :第 1 章在介绍随机过程基本概念的基础上 ,强调了随机过程的
二重性 :随机性和函数特性 ,并简述了随机过程所研究问题的范畴与分类 .第 2 章讨论了
平稳过程和二阶矩过程 ,通过引入线性系统 ,解释了功率谱与时域平均的关系 ;重点讨论
了过程特征参数的遍历性理论 ;在谱分解理论和随机预测的证明与讨论中 ,采用了线性代
数的方法而非测度论的方法 .第 3 章讨论了离散鞅论与应用 .通过许多示例解释了鞅的概
念 ,并给出了构造鞅的一些基本方法 .通过对停时的讨论 ,解释了停时定理在平均时间估
计和首达概率计算方面的应用 .此外 ,本章的重点在于强调鞅论的应用 ,如上穿不等式 、极
大值不等式 、Doob 估值定理 、Azuma 不等式和推广的 Azuma 不等式等及其在拖尾概率
估计中的应用 .第 4 章在阐述 Poisson 过程和更新过程的基本理论的基础上 ,重点介绍了
Poisson 过程的分流和非时齐 Poisson 过程的应用 、复合 Poisson 恒等式以及 Wald 恒等
式 .第 5 章 ,在讨论 Brown 运动之前 ,对正态分布的有关理论从 8 个方面如 :Cauchy 分
布 、区域分布与互相关系数的关系 、条件分布 、联合分布的条件边缘分布 、反正弦率 、零交
叉 、拖尾概率的 Mill 比值估计等进行了总结分析 ,在此基础上讨论了 Brown 运动的 8 个
特性以及过零点的反正弦定理 ,并对 Brown 运动的变形 、带漂移的 Brown 运动以及
Brown 桥的性质与应用进行了讨论 ,部分证明和事例分析采用了鞅论的方法 .值得一提
的是对首中时的 Laplace 变换给出了一个相对简洁的证明 .第 6 章 ,在阐述 Markov 链基
本理论的基础上 ,给出了计算平稳分布的矩阵算法 ,吸收概率的矩阵计算理论以及近年提
出的用于系统仿真的 Metropolis 算法与其理论分析 .第 7 章以时间齐次连续 Markov 链
的定义为基础 ,讨论了 Kolmogorov 前后向方程与应用 ,给出了平稳分布的矩阵计算方
法 .通过对生灭过程的讨论 ,解释了平衡方程 、详细平衡方程在网络性能分析中的应用方
法 .本章的另一个重点是系统地讨论了嵌入Markov 链 、半Markov 过程 、Q 过程的内在联
系以及系统仿真的一致性理论 .关于平稳分布与时间可逆性理论 ,通过排队论中Burke 定
理解释了它的应用方法 ,展示了它在网络分析方面的应用前景 .
本书的内容选取和设置得到了清华大学研究生精品课建设基金的支持 .在本书的编
写与修改过程中 ,作者的博士生导师冯重熙教授给予了大量的鼓励 、关心和支持 ,在此表
示衷心的感谢 .同时感谢清华大学电子工程系陆大纟金教授 、张颢博士 、清华大学数学科学
系葛余博教授 ,中国矿业大学北京校区数学系高运良主任 ,与他们有益的讨论 ,使本书的
内容更加充实 、丰富 .感谢曹志刚教授 、陆建华教授 、林孝康教授及电子工程系教务科罗淑
云教授等同事的大力支持和帮助 .同时也感谢参加听课的研究生们及我所在的微波与数
前言
Ⅲ
字通信技术国家重点实验室的同事们 ;他们对更新工科学生“随机过程”课程内容的建议
和要求 ,促使作者加快了编写和整理本书的进度 .本书的出版得到清华大学出版社的大力
支持 ,特别是刘颖编辑对稿件认真细致的审阅和校对 .最后 ,感谢我的妻子和孩子对我的
支持 、鼓励和帮助 .
樊平毅
2005 年 1 月
目 录
第 1 章 概论
… … … … … … … … … … … … … … … … … … … … … … … … … … … … … … …
1 .1 随机过程的基本特点
1 .2 随机过程的研究范围
1 .3 随机过程的分类方法(1)
1 .4 随机过程的示例
1 .5 随机过程的数字特征及基本概念
1 .6 随机过程的分类方法(2)
1 .7 习题
… … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … … … … … …
第 2 章 平稳过程与二阶矩过程
… … … … … … … … … … … … … … … … … … … … … … …
2 .1 相关函数
2 .2 功率谱
2 .3 功率谱与时域平均
2 .4 线性系统
… … … … … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … …
2 .4 .1 平均值和自相关
2 .4 .2 功率谱
2 .5 随机连续性
2 .5 .1 引言
2 .5 .2 平均值的连续性
2 .6 随机微分 (均方意义)
2 .6 .1 关于微分运算的性质
2 .6 .2 平稳过程的微分特性
2 .7 Taylor 级数
1
1
2
2
3
4
6
7
9
9
14
15
18
18
19
22
22
23
23
24
25
25
Ⅵ
随机过程理论与应用
2 .8 随机微分方程
2 .9 随机积分
2 .10 遍历性讨论
2 .10 .1 平均值的遍历性
2 .10 .2 自相关的遍历性
2 .10 .3 分布函数的遍历性
… … … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … … … … …
2 .11 .1 随机过程抽样定理
2 .11 .2 信号的随机预测
2 .11 抽样定理与随机预测
2 .12 习题
第 3 章 离散鞅论
… … … … … … … … … … … … … … … … … … … … … … … … … … … …
3 .3 .1 鞅的示例
3 .3 .2 关于鞅的构造方法
3 .4 上鞅 、下鞅的定义及基本性质
3 .1 条件概率
3 .1 .1 条件概率的物理解释
3 .1 .2 条件概率的性质
3 .2 鞅的定义与基本性质
3 .3 鞅的举例与基本构造方法
… … … … … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … …
3 .4 .1 基本定义
3 .4 .2 上 、下鞅的基本性质
3 .5 Jensen 不等式与下鞅的构造
3 .6 分解定理
3 .7 停时与停时定理
3 .7 .1 停时的基本概念
3 .7 .2 几个基本的停时定理
3 .7 .3 停时定理的证明
3 .7 .4 停时定理的应用
3 .8 关于停时的 Wald 恒等式
3 .9 上穿不等式及应用
3 .10 极大值不等式与 Doob 定理
3 .10 .1 Markov 不等式
3 .10 .2 Chernoff 界
26
27
28
28
31
32
33
33
34
35
38
38
38
39
40
41
41
47
48
48
48
49
49
52
52
53
54
57
58
59
62
62
62
目录
Ⅶ
3 .10 .3 极大值不等式
3 .10 .4 最大值估计定理
3 .11 鞅论的应用(1)
3 .11 .1 三人赌博问题
3 .11 .2 关于对称随机移动
… … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … …
… … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … … … … …
3 .14 .1 Azuma 不等式在古典概率估计中的应用
3 .14 .2 无线 Ad Hoc 网络中网络编码的容量计算
3 .12 Azuma 不等式
3 .13 Azuma 不等式的推广
3 .14 鞅论的应用(2)
3 .15 连续鞅论介绍
3 .16 习题
62
64
65
65
67
68
72
73
73
75
77
78
81
81
83
84
88
94
95
96
96
98
99
101
102
104
108
111
113
第 4 章 Poisson 过程与更新过程
… … … … … … … … … … … … … … … … … … … … … …
4 .1 Poisson 过程的定义
4 .2 Poisson 过程的基本性质
4 .3 Poisson 过程与指数分布的关系
4 .4 到达时间的条件分布
4 .5 Poisson 过程的分流
4 .6 非时齐 Poisson 过程
4 .7 复合 Poisson 过程
… … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … … … … … … … … …
4 .8 条件 Poisson 过程
4 .9 双重随机 Poisson 过程
4 .10 更新过程
4 .11 更新函数的性质与应用
4 .12 更新过程的剩余寿命与年龄
4 .13 Wald 等式
4 .14 习题
4 .7 .1 复合 Poisson 过程的定义
4 .7 .2 复合 Poisson 恒等式
第 5 章 Brown 运动
… … … … … … … … … … … … … … … … … … … … … … … … … … …
118
5 .1 Brown 运动的概念
5 .2 正态分布的有关理论
… … … … … … … … … … … … … … … … … … … … … … …
… … … … … … … … … … … … … … … … … … … … … …
118
119