《信息论与编码基础》唐朝京雷蒨国防科技大学出版社课后答案.pdf-资料库

第二章离散信源 2.1 同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求： (1) “3 和 5 同时出现”这事件的自信息； (2) “两个 1 同时出现”这事件的自信息； (3) 两个点数中至少有一个是 1 的自信息量。解： (1) xp ( i ) xI ( i ) (2) xp ( i ) xI ( i ) (3) xp ( i ) xI ( i ) =×+×= 1 1 6 6 log 2 1 6 xp ( i −= 1 6 ) −= 1 18 log 1 18 2 = .4 bit 170 =×= 1 1 6 6 log 2 1 36 xp ) ( i −= −= log 2 1 36 = .5 bit 170 11 = 11 36 ××= 1 1 6 6 log 2 −= xp ( i ) −= log 2 11 36 = .1 bit 710 2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量 X 代表女孩子学历 X P(X) x1（是大学生） x2（不是大学生） 0.25 0.75 设随机变量 Y 代表女孩子身高 y1（身高>160cm） Y P(Y) 0.5 y2（身高<160cm） 0.5 已知：在女大学生中有 75%是身高 160 厘米以上的即：p(y1/ x1) = 0.75 求：身高 160 厘米以上的某女孩是大学生的信息量即： I x y ( , 1 1 ) = − log ) p y x ( | 1 1 p y ) ( 1 = − log 2 ⎛ ⎜ ⎝ 0.75 0.5 ⎞ ⎟ ⎠ = 0.585 bit 课后答案网 www.khdaw.com

2.3 掷两颗骰子，当其向上的面的小圆点之和是 3 时，该消息包含的信息量是多少？当小圆点之和是 7 时，该消息所包含的信息量又是多少？解： 1）因圆点之和为 3 的概率 p x ( ) = p (1,2) + p (2,1) I x 该消息自信息量 ( ) = − p x log ( ) = log18 = 2）因圆点之和为 7 的概率 4.170 = 1 18 bit p x ( ) = p (1,6) + p (6,1) + p (2,5) + p (5,2) + p (3,4) + p (4,3) I x 该消息自信息量 ( ) = − p x log ( ) = log 6 = 2.585 bit = 1 6 2.5 黑白气象传真图的消息只有黑色和白色两种，即信源 X={黑，白}。设黑色出现的概率为 P(黑) = 0.3，白色出现的概率为 P(白) = 0.7。假设图上黑白消息出现前后没有关联，求熵 H(X)；解： XH ( log7.03.0 bit 881.0 log)7.0 log3.0( symbol log) −= 10 = + ) ) / xp ( i 2 −= ∑ xp ( i i 2.7 消息源以概率 P 1 = 1/ 2, P 2 = 1/ 4, P 3 = 1/8, P 4 = 1/16, P 5 = 1/16, 发送 5 种消息符号 m m m m m 1 5 , , , , 2 3 4 。（1）若每个消息符号出现是独立的，求每个消息符号的信息量。（2）求该符号集的平均信息量。解：（1）因为消息符号出现是独立的，所以每个消息符号的信息量分别为： I m ( 1 I m ( 2 I m ( 3 I m ( 4 bit log 2 1 = bit 2 log 4 = bit log8 3 = I m ) ( log16 = 5 = = = = ) ) ) ) b 4 it = （2）该符号集的平均信息量即为信源熵 H X ( ) = 1 2 log 2 + 1 4 log 4 + 1 8 log8 + 2.8 设离散无记忆信源 X XP ( ⎡ ⎢ ⎣ ⎤ =⎥ ⎦ ) log16 1 16 x 0 = ⎧ 1 ⎨ 8/3 ⎩ + 1 16 x = 2 4/1 b log16 1.875 = it 1 2 x = 3 4/1 x = 4 8/1 3 ⎫ ⎬ ⎭ ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？解：课后答案网 www.khdaw.com

(1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3，因此此消息发出的概率是： ⎛=p ⎜ ⎝ 3 8 14 ⎛×⎟ ⎞ ⎜ ⎠ ⎝ 1 4 25 ⎛×⎟ ⎞ ⎜ ⎠ ⎝ 1 8 ⎞ ⎟ ⎠ 6 此消息的信息量是： I −= log2 p = (2) 此消息中平均每符号携带的信息量是： bit 811.87 nI / = 811.87 45/ = bit 951.1 2.10 设信源 X XP ( ⎡ ⎢ ⎣ ⎤ =⎥ ⎦ ) x x ⎧ 2 1 ⎨ 19.02.0 ⎩ x 3 18.0 x 4 17.0 x 5 16.0 x 6 17.0 ⎫ ⎬ ⎭ ，求这个信源的熵，并解释为什么 H(X) > log6 不满足信源熵的极值性。解： xp ( i log) 2 xp ( i ) 6 i ( ) XH −= ∑ log2.0( −= 2 bit 657 .2 = XH log ( ) > + 19.02.0 symbol / .2 6 585 = 2 log 2 19.0 + 18.0 log 18.0 + 17.0 log 17.0 + 16.0 log 16.0 + 17.0 log )17.0 2 2 2 2 不满足极值性的原因是 6 ∑ i ixp ( 07.1) = > 。 1 2.11 每帧电视图像可以认为是由 3105个像素组成的，所有像素均是独立变化，且每像素又取 128 个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约 10000 个汉字中选出 1000 个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解： 1) XH ( XH ( log 128 = 2 10 ) 3 5 ×= symbol 6 × bit 7 7 =× = 2 XNH n ( log = symbol / 1.2 = ) bit 10 ) N / 2) XH ( XH ( 3) ) N = ) log = = 2 XNH n ( log ) = 10000 2 1000 × = .13 .13 288 288 = bit symbol / bit 13288 / symbol XHN N ( XH ( ) = ) = × 10 1.2 6 288.13 = 158037 课后答案网 www.khdaw.com

2.12 设有一个信源，它产生 0，1 序列的信息。它在任意时间而且不论以前发生过什么符号，均按 P(0) = 0.4，P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞； (3) 试计算H(X4)并写出X4信源中可能有的所有符号。解： (1) 这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符．．．．．．．．．．号．……” (2) 2 = XH XXXH XH (2 ) = ( ( ) / ) ×−= XH ( ) 3 1 2 log6.04.0 xp ( i + log) 2 xp ( i 2 bit symbol / 942.1)6.0 = log4.0( log6.04.0 −= + 2 2 2 ) )6.0 = bit 971.0 / symbol −= log4.0(2 ∑ symbol / 3 i H ∞ = XH ( ) = (3) bit 971.0 4 (0.4log 0.4 0.6log 0.6) 3.884 = 2 2 4 ) ) ( + 4 信源中可能发出的所有符号为： = − × = H X 4 ( H X X 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1100 1101 1110 1111 1011 bit symbol / 2.13 设信源发出二重延长消息 ix yi ,其中第一个符号为 A、B、C 三种消息，第二个符号为 D、E、F、G 四种消息，概率 )iP x 和( P y ( j | x 如题 13 表所示，求该二 i ) 次扩展信源的共熵 H（XY）。 )iP x ( P y ( j | x ) i D E F G A 1/2 1/4 1/4 1/4 1/4 B 1/3 3/10 1/5 1/5 3/10 C 1/6 1/6 1/2 1/6 1/6 解：课后答案网 www.khdaw.com

根据公式： P x y ( i j ) = p x P y ( ( ) i | x ) i j ，先画出二重延长消息的联合概率密度： P x y ( i j ) D E F G A 1/8 1/8 1/8 1/8 B 1/10 1/15 1/15 1/10 C 1/36 1/12 1/36 1/36 3 4 ∑∑ i 1 = j 1 = 所以： H XY ( ) = P x y ( i j ) 3.415 = bit / 2 symbol 2.14 设有一概率空间，其概率分布为 pp ,{ 1 2 , , qp }, L 并有 p > 1 p 2 。若取 p ' 1 = p 1 − , ε p ' 2 = p 2 + ε ，其中 0 < ε 2 ≤ p − 1 p 2 ，而其他概率值不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义作以解释。证： PHH ( 1 = L P q ) −= P 1 log PP 1 2 − log P 2 − q ∑ i = 0 P i log P i ' H H P ( 1 = − , ε P 2 P , + L ) ε q P 3 −= ( P 1 − ) ε log( P 1 − ) ε − ( P 2 + ) ε log( P 2 + ) ε − q ∑ i = 3 P i log P i HH =′− ( P 1 − ) ε log( P 1 − ) ε + ( P 2 + ) ε log( P 2 + ) ε − P 1 log PP 1 2 − log P 2 = P 1 log ε P 1 − P 1 + P 2 log ε P + 2 P 2 + ε log P 2 P 1 + − ε ε 由 log x ≤ ( x − log)1 e （当且仅当 1=x 等号成立），得 HH ≤′− [ P 1 ( − ε P 1 ) + P 2 ( ) + ( ε ε P 2 P 2 P 1 − − P 1 )]2 ε + ε log e = [ ε − ( ε P 1 P 2 − P 1 + )]2 ε log e ε 因 ⇒> 0 ε ≠ ,1 P 1 − P 1 ε P + 2 P 2 ⇒≠ 1 上式等号不成立 <′−∴ HH ε − ( ε [ P 1 P 2 − P 1 + )]2 ρε log 0 < 2 ε ≤ PP 2 1 ⇒− P 1 P 2 ⎧ ⎨ ⎩ 0 ε >− P 2 ε − ≤ + 1 0 课后答案网 www.khdaw.com

<′−∴ HH ε − ( ε [ P 1 P 2 − P 1 + )]2 ε log e ≤ 0 HH < ′ ∴ 新概率空间熵增加，这是因为新概率空间概率分布趋于平均，不确定性增加，所以熵增加。课后答案网 www.khdaw.com

第三章离散信道 3.1 设有一离散无记忆信源，其概率空间为 X P X ( ⎡ ⎢ ⎣ ⎤ ⎥ ⎦ ) = x x 2 1 0.6 0.4 ⎡ ⎢ ⎣ ⎤ ⎥ ⎦ 它们通过一干扰信道，信道输出端的接收符号集 Y = [0 1]，信道转移矩阵为 P = p (0 / 0) p (0 /1) ⎡ ⎢ ⎣ p (1/ 0) p (1/1) ⎡ ⎢ ⎤ ⎢ ⎥ ⎦ ⎢ ⎢ ⎣ 5 6 1 4 1 6 3 4 ⎤ ⎥ ⎥ ⎥ ⎥ ⎦ ，求： (1) 信源X中事件X1和事件X2分别包含的自信息量； (2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量； (3) 输出符号集 Y 的平均信息量 H(Y)； (4) 信道疑义度 H(X/Y)和噪声熵 H(Y/X)； (5) 接收到信息 Y后获得的平均互信息量。解： 1) xI ( 1 xI ( bit 737 bit 322 log 2 log .0 6.0 .14.0 = = log 2 log xp ( 1 xp ( −= −= −= −= ) ) ) ) 2 2 2 2 2) yp ( 1 ) = yp ( 2 ) = ypxp ( ( 1 ) 1 / x 1 ) + ypxp ( ( 1 ) 2 / x 2 ypxp ( ( ) 1 + ypxp ( ( ) 2 / x 56.0) = +× 6 16.0) = +× 6 14.0 =× 4 34.0 =× 4 2 6.0 yxI ; ( 1 1 ) = log 2 yxI ; ( 1 2 ) = log yxI ; ( 1 2 ) = log 2 2 yxI ; ( 2 2 ) = log 2 ) / ) x 2 1 yp x / ( 1 1 yp ( ) 1 yp x / ( 2 1 yp ( ) 2 yp x / ( 1 2 yp ( ) 1 yp x / ( 2 2 yp ( ) 2 ) ) 2 6/5 6.0 6/1 4.0 4/1 6.0 4/3 4.0 = log 2 = log 2 = log 2 ) = log 2 = .0 474 bit −= .1 263 bit −= .1 263 bit = .0 907 bit 4.0 ∑ −= ∑ −= i j 3) XH ( ) YH )( xp ( i log) xp ( i ) −= log6.0( log4.06.0 + log)4.0 10 = 971.0 bit / symbol 2 yp ( j log) yp ( j ) −= log6.0( log4.06.0 + log)4.0 10 = 971.0 bit / symbol 2 1 课后答案网 www.khdaw.com

16.0 × 6 log 1 6 + 14.0 × 4 log 1 4 + 34.0 × 4 log 3 4 ) × log 10 2 4) XYH ( / j i ) −= −= ∑∑ 56.0( × 6 bit / 715.0 = XYH XH ( ) / ) ( = + Q YXH XH ( / ( ) ) ∴ + = .0 .0 971 + = 5) YXI ; ( XH − = ) ( ) ypxp ( ( ) i / x i j log) yp ( / x i ) j log + 5 6 symbol YH )( + XYH ( / 715 .0 − YXH / ) ( YH )( ) − 971 .0 = 715 bit / symbol YXH ( / ) = .0 971 − .0 715 = .0 256 bit / symbol 3.3 设有下述消息将通过一个有噪二元对称信道传送，消息为： M = 1 00 , M = ， 01 2 M = 3 10 ， M = 4 11 ，这四种消息在发送端是等概的。试求：（1）输入为 1M ，输出第一个数字为 0 的互信息量是多少？（2）如果知道第二个数字也是 0，这是又带来多少附加消息？解：由题意可知信道特征为： 1 p 1 −⎡ ⎢ p ⎣ p ⎤ ⎥− p ⎦ p a b p a p b a ( ) ( | ( = 1 1 1 p p / 2 1/ 2 ) / 2 + = p a b p b ) 1 ) / ( ( = − 1 1 1 p a b p a p b p b ( ( ) / ( ( ) = 2 1 2 p ) ) ) 1 1 1 1） 1 p a ) 1/ 2, ( = 1 p b (1 ( ) = − p a b ( ) | = 1 p a b ( | ) = 2 1 1 (1 = − p ) / 2 | 2 a 1 ) / p b ( 2 ) = p I (00,0) = log 1 (00) p − log 1 p (00 | 0) = − 1 log 4 log (00) p (00 | 0) p (0) p 所以: = log 4 log − 1/ 4* (0 | 0) 1 p 1/ 2 = + [1 log(1 − p bit )] 2）当知道第二个数字也是 0 时， I M y y ( 1 2 , 1 = 00) = log 1 p M ( ) 1 − log 所以附加信息为1 + log(1 − )p 。 1 p M y y = ( | 1 2 1 = + 2 2log(1 − p ) bit 00) 2 课后答案网 www.khdaw.com

资料库

《信息论与编码基础》唐朝京雷蒨国防科技大学出版社课后答案.pdf

相关推荐

课程资源

热门标签

最新资料