信息论与编码(第二版)习题答案+陈运.pdf-资料库

tfsinh-10952347-4744300845375021658.pdf-第1页.png

第1页 / 共39页

tfsinh-10952347-4744300845375021658.pdf-第2页.png

第2页 / 共39页

tfsinh-10952347-4744300845375021658.pdf-第3页.png

第3页 / 共39页

tfsinh-10952347-4744300845375021658.pdf-第4页.png

第4页 / 共39页

tfsinh-10952347-4744300845375021658.pdf-第5页.png

第5页 / 共39页

tfsinh-10952347-4744300845375021658.pdf-第6页.png

第6页 / 共39页

tfsinh-10952347-4744300845375021658.pdf-第7页.png

第7页 / 共39页

tfsinh-10952347-4744300845375021658.pdf-第8页.png

第8页 / 共39页

课后答案网，用心为你服务！大学答案 --- 中学答案 --- 考研答案 --- 考试答案最全最多的课后习题参考答案，尽在课后答案网（www.khdaw.com）！ Khdaw团队一直秉承用心为大家服务的宗旨，以关注学生的学习生活为出发点，旨在为广大学生朋友的自主学习提供一个分享和交流的平台。爱校园（www.aixiaoyuan.com）课后答案网（www.khdaw.com）淘答案（www.taodaan.com）

第二章部分习题 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍? 答：2 倍，3 倍。 2.2 一副充分洗乱了的牌(含 52 张牌)，试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取 13 张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) log 2 (2) 任取 13 张，各点数不同的概率为，信息量：9.4793(比特/符号) !52 !13 C 13 52 %25 2.3 居住某地区的女孩子有是大学生，在女大学生中有是身高 160 厘米上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？答案：1.415 比特/符号。提示：设事件 A 表示女大学生，事件 C 表示 160CM 75% 以上的女孩，则问题就是求 p(A|C)， ACpCAp ( ) ( Cp ( ) = ) | = ACpAp ( ) | ) ( Cp ) ( 1 4 = 3 4 × 1 2 = 3 8 2.4 设离散无忆信源 X ) ( P X ⎞ ⎟ ⎠ ⎛ ⎜ ⎝ a 0 = ⎧ 1 = ⎨ 3/8 ⎩ a 1 = 2 1/ 4 a 2 = 3 1/ 4 3 a = 4 1/8 ⎫ ⎬ ⎭ (202120130213001203210110321010021032011223210) ，求，其发出的消息为 (1) 此消息的自信息量是多少？ (2) 在此消息中平均每个符号携带的信息量是多少？解：(1)87.81 比特， (2)1.951 比特。提示：先计算此消息出现的概率，再用自信息量除以此消息包含的符号总数(共 45 个)。 2.5 从大量统计资料知道，男性中红绿色盲的发病率为，女性发病率为，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能 0.5% 是“否”，问这两个回答中各含有多少信息量?平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ 7% (1) 男性回答是的信息量为 − log 0.07 3.8369 = 比特 2 ，回答否的信息量是 0.1047 1

比特，平均每个回答含的信息量(即熵)是 0.36596 比特。 0.045425 比特 (2) 2.6 设信源 ⎛ ⎜ ⎝ ) H X > X ⎞ ⎟ ( ) P X ⎠ log 6 ( 么 ⎧ = ⎨ ⎩ a 2 a a 6 1 0.2 0.19 0.18 0.17 0.16 0.17 a 4 a 5 a 3 ，求这信源的熵，并解释为什 ⎫ ⎬ ⎭ 不满足信源熵的极值性。提示：信源的概率之和大于 1。 2.7 同时掷两个正常的骰子，也就是各面呈现的概率都为，求： 1/ 6 (1) “3 和 5 同时出现”这事件的自信息量； (2) “两个 1 同时出现”这事件的自信息量； (3) 两个点数的各种组合(无序对)的熵或平均信息量； (4) 两个点数之和(即 (5) 两个点数中至少有一个是 1 的自信息量。解：(1) 4.17(比特/符号)，提示：3 和 5 同时出现的概率为 1 6 (2) 5.17(比特/符号)，提示：两个 1 同时出现的概率 1/36 (3) “两个点数相同”的概率:1/36,共有 6 种情况; 构成的子集)的熵； 2,3 12L ×× 2 =1/18 1 6 “两个点数不同”的概率:1/18,共有 15 中情况.故平均信息量为: 6 36 log 36 4.337 比特/符号 (4) 3.274(比特/符号)。提示：信源模型 log 18 15 18 + = 2 2 2 1 36 3 1 18 4 1 12 5 1 9 6 5 36 7 1 6 8 5 36 ⎧ ⎨ ⎩ 9 10 11 12 1 1 1 12 1 18 ⎫ ⎬ ⎭ 36 9 (5) 1.711( 比特 / 符号 ) 。提示：至少有一个 1 出现的概率为 1 6 1 6 =×−+ 1 6 1 6 11 36 2.8 证明 ( H XX XL ≤ ) n 1 2 H X H X 2 + 1 ( ) ( ) + +L H X n ( ) 提示：见教材式(2.1.26)和(2.1.28) 2.9 证明 H X XX ≤ ) 2 ( 3 1 H X X 1 3 ( ) ，并说明等式成立的条件。提示：见教材第 38 页 2

2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：若把这些频度看作概率测度，求： (1) 忙闲的无条件熵； (2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。解：设 X、Y、Z 分别表示{忙闲}、{晴雨}和{冷暖}， (1) 先求忙闲的概率分布 X XP ( ) ⎡ ⎢ ⎣ ⎤ =⎥ ⎦ ⎡ 闲忙 40 63 ⎢ ⎢ 103 103 ⎣ ⎤ ⎥ ⎥ ⎦ ，无条件熵 )H X = ( 0.964(比特 /符号) YZ PYZ ( ) = ⎡ ⎢ ⎣ (2) 晴冷晴暖雨暖雨冷 32 20 103 103 23 28 103 103 (3) I(X;YZ)=0.105 比特/符号 ⎤ ⎥ ⎦ ⎡ ⎢ ⎢ ⎣ ， ⎤ ⎥ ⎥ ⎦ H X YZ = ( ) 0.859(比特/符号) 2.11 有两个二元随机变量 X Y和，它们的联合概率为 Y X 0 0 1 1/8 3/8 并定义另一随机变量 ( ( ), (1) ), ( XYZ= ( ), H X H Y H Z H XZ H YZ H XYZ ) 和 ), ( ) ( ； 3/8 1 (一般乘积)。试计算： 1/8 3

(2) (3) H XY H Y X H X Z H Z X H Y Z H ZY H XYZ ( ), ), ) H Y XZ ) ( I X Y I X Z I Y Z I X Y Z I Y Z X I X ZY , ( ( ) H Z XY 和 ( ; ; ), ； ) , ), ( ) 。和 ), ), ), ( ( ) ( ) ( ) ( ( ( ( ( ; , ; ; , ; 解：提示：的联合概率分布 XYZ XYZ (XYZP ) ⎡ ⎢ ⎣ ⎤ =⎥ ⎦ 000 ⎡ ⎢ 8/1 ⎣ 001 0 010 8/3 011 0 100 8/3 101 0 110 0 111 ⎤ ⎥ 8/1 ⎦ XZ 的联合概率分布 YZ 的联合概率分布 XZ (XZP ) ⎡ ⎢ ⎣ ⎤ =⎥ ⎦ 00 ⎡ ⎢ 2/1 ⎣ 01 0 10 11 ⎤ ⎥ 8/18/3 ⎦ YZ (YZP ) ⎡ ⎢ ⎣ ⎤ =⎥ ⎦ 00 ⎡ ⎢ 2/1 ⎣ 01 0 10 11 8/18/3 ⎤ ⎥ ⎦ Z 的概率分布 Z (ZP ) ⎡ ⎢ ⎣ ⎤ =⎥ ⎦ 0 7 8 ⎡ ⎢ ⎢ ⎣ 1 1 8 ⎤ ⎥ ⎥ ⎦ (1) 1 比特/符号，1 比特/符号，0.543 比特/符号，1.406 比特/符号，1.406 比特/符号，1.811 比特/符号 (2) 0.811 比特/符号，0.811 比特/符号，0.863 比特/符号，0.406 比特/符号， 0.863 比特/符号，0.406 比特/符号，0.405 比特/符号 (3) 0.189 比特/符号，0.137 比特/符号，0.137 比特/符号，0.458 比特/符号， 0.406 比特/符号，0.406 比特/符号 2.12 略 2.13 设有一个信源，它产生序列的信息。它在任意时间而且不论以前发生过 0,1 ( ) p 0.4, 1 ( ) p 0 = = 0.6 什么符号，均按 (1) 试问这个信源是否是平稳的？ (2) 试计算 lim N →∞ (3) 试计算 ( ) H X H X XX , 2 ( )4H X 4X 及 ( ) 2 3 1 ) H X ( ；的概率发出符号。并写出信源中可能有的所有符号。解：(1) 是 (2) 信源熵 0.971 比特/信源符号， 2 =XH 942.1) ( 比特/信源符号，由题设知道这个信源是无记忆信源，因此条件熵和极限熵都等于信源熵。 (3) 4 ( ×=XH .04 ) 信源中可能的符号共 16 个。 4X 比特/信源符号， 971 884 .3 = 2.14 设 X X X 2 = , 1 , L X , N 是平稳离散有记忆信源，试证明： 4

1 ( L ) H XX X = )H X + 提示：见教材第 44 页 ( N 2 1 H X X H X X X 1 + 2 1 3 2 ( ) ( ) + +L H X X X X − L N N 1 2 1 ( ) 。 2.15 略 2.16 一阶马尔可夫信源的状态图如题 2.16 图所示。信源的符号集为 X {0,1,2} 。 (1) 求平稳后信源的概率分布； (2) 求信源的熵。H∞ 题 2.16 图解： (1) 由图得一步转移概率矩阵 P = pe pe pe p ( = = = ) ( ) ( ) 1 2 3 (2) pHHH ) = = ( 11 + ∞ = 1 3 ⎡ ⎢ ⎢ ⎢ ⎣ p 0 pp 0 ⎤ p ⎥ 0 ⎥ ⎥ pp ⎦ ，状态极限概率 2.17 黑白气象传真图的消息只有黑色和白色两种，即信源出现的概率为 p(黑)=0.3，白色的出现概率 p(白)=0.7。 (1) 假设图上黑白消息出现前后没有关联，求熵 )H X (2) 假设消息前后有关联，其依赖关系为 p(白/白)=0.9，p(黑/白)=0.1，p(白/ X = 黑，白 } 。设黑色；( { 黑)=0.2，p(黑/黑)=0.8，求此一阶马尔可夫信源的熵 )H X ；2( (3) 分别求上述两种信源的剩余度，比较物理意义。解：(1) 0.881 比特/信源符号; H X H X和 ) 2( ( ) 的大小，并说明其 (2) H X ) ( 2 2 2 = −∑∑ j 1 = i 1 = pab ( i j )log 2 pab ( i j ) =0.5533 比特/符号; 5

(3) 11.9%，44.67% 2.18 每帧电视图像可以认为是由 3 10× 5 个像素组成的，所有像素均是独立变化，且每像素又取 128 个不同的亮度电平，并设亮度电平是等概率出现，问每帧图像含有多少信息量？若有一个广播员，在约 10000 个汉字中选 1000 个汉字来口述这电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？解：(1)每帧图象包含的信息量 − 5 103 × 128 × 1 5 128 103 × × log 2 (2)每 1000 个汉字提供的信息量 1 5 128 103 × log 10000 2 = 1.2 × 10 6 比特 1000 = .1 3288 × 10 比特4 (3)需要 )1( )2( ×1000 = 58.1 × 510 个汉字。 2.19 略 2.20 连续变量 YX和的联合概率密度为： ) H X HY H XY I X Y和 ( ) ( ) ( ) ( : , , 。(提示： π 2 0 ∫ log sin d x x 2 = − π 2 解： p x ( ) = 令则 ∫ ∞ ) = = p xydy ( ∫ −∞ − x r θ ，cos 2sin θ r π ( )p x = dy − r x 2 2 1 r 2 π r x 2 2 − y r θ sin = 2 = r x 2 2 − r 2 π ) ( p x y , 1 ⎧ ⎪= π⎨ r 2 ⎪⎩ 0 log 2 ) 2 x y r 2 2 + 2 ，求其他同理，由函数对称性 H X ) ( = − 2cos θ r π log 2 ∫ ( )p y r = 2sin θ r π r − 2sin 2 θ π ⎛ ⎜ ⎝ = 0 ∫ π 2sin θ r π log sin 2 θ − d r ( sin ) × − θ θ r d π ⎞ θ ⎟ 2 ⎠ log 2 利用分部积分法、三角函数性质、习题提示并注意自然对数与以 2 为底对数的换算关系可得： e log H X H Y ( ) r π − log = = ( ) 1 2 2 = 0.93 log + r 2 (比特/符号) 2 6

= − 1 ∫∫ r 2 π x y r 2 2 + = 1.65 2log + 2 ; + ) ( 2 = = = = I X Y H X H Y H XY ) ( + r ( ) − r − ) + ( 1.86 2log 0.21 2 log 2 1 r 2 π dxdy = log 2 r 2 π (比特/符号) (1.65 2log r ) 2 (比特/符号) HXY ) ( 2.21 略 2.22 略 7

资料库

信息论与编码(第二版)习题答案+陈运.pdf

相关推荐

课程资源

热门标签

最新资料