朱雪龙《应用信息论基础》习题答案.pdf-资料库

满足上式的 p、q 可取：p = 1 ; q = 2 ∴ 满足条件的一个联合分布： 1 2 P(X=0, Y=0, Z=0) = P(X=1, Y=1, Z=0) = 1 P(X=1, Y=1, Z=0) = 4 1 P(X=1, Y=0, Z=1) = 4 1 4 1 4 2.6 解：给出均匀分布 xp )(  1  ab a  x b 其中 ab  ,1 则 Xh ( )  0 2.7 证明： I(X;Y;Z) = I(X;Y)－I(X;Y|Z) = I(X;Z)－I(X;Z|Y) ∵A, B 处理器独立， ∴I(X;Z|Y) = 0 ∴I(X;Z) = I(X;Y)－I(X;Y|Z) ≤ I(X;Y) 等号于 p(x/yz) = p(x)下成立 2.8 N=2 时， P(0 0) = 1 , P(1 1) = 2 1 ,其它为 0 2 ) = 1 bit ; 1X 2X I( N≠2 时， I( ; kX 1kX  = P( … 2kX  1X + P( … 1X 2kX  P( … 1X 2kX  P( … 1X 2kX  2kX  | … 1X 中有奇数个 1) I( ) (3≤k) 1kX  中有奇数个 1) = 中有偶数个 1) I( 1 2 1 2 中有偶数个 1) = ; kX ; 1kX  | … 1X | … kX 1X 2kX  中有奇数个 1) 2kX  中有偶数个 1) P( 1kX  =1| … 1X 2kX  P( 1kX  =0| … 1X 2kX  中有奇数个 1) = 中有奇数个 1) = P( kX =1| … 1X 2kX  中有奇数个 1) = P( kX =0| … 1X 2kX  中有奇数个 1) = 1 2 1 2 1 2 1 （注意，这里 k≤N－1） 2 Qbit.5d6d.com Qbit.5d6d.com

2.9 1) 实例如 2.5 题 2）考虑随机变量 X=Y=Z 的情况取 P(X=0, Y=0, Z=0) = 1 P(X=1, Y=1, Z=1) = 2 1 2 则 I(X;Y|Z) = 0 I(X;Y) = 1 满足 I(X;Y|Z)＜I(X;Y) ) = ) = 1ba 11ba ∴P( 2.10 H(X Y) ≤ H(X) + H(Y) 等号在 X、Y 独立时取得 1 12 1 24 1 24 1 P( 12 1 P( 24 1 P( 24 1 P( 3 1 P( 6 1 P( 6 P( P( 2ba 2ba 2ba 3ba 3ba 3ba 1ba ) = ) = = = = = = ) ) ) ) ) 2 3 1 3 2 2 1 3 ) ; ZYXI ( ; ) 成立 | ) ( ) ) | /( 满足 H(X Y) 取最大值 2.11 证明：  p yzpxypxp xyz )( (  YZXI | ( ; ) ,0   ZYXI YXI ( ; | ( ) ;   ZYXI YXI ( ) ( ; ;  故 2.12 证明： H XYZ ( )  XZYI ) ;( | XYZ H )  2.13 证明： ; XZ YH ) ( | (  XYH YH ) | | (  XYH XZH ) ( |  XZH (  (  ZYXI ( ( ; ) XZ )  ) XZYI ;( | ) )  ZXI ( ; )  YZXI ( ; | )  ZXI ( ; )  0 ; ) | | ZYXI YXI ( ) ( ) | ;   XH XZ YHZYHYXH ( ( ) ) | ( ) ) (     XH HZYHYXH ( | ) ) ( ) ( ) (      H XZHZYH XYZ YXH ( | | ( | ) ( ) )     ZHYH H XYZ XH )( ( ) ( )     而等式右边 YH XH YXH XZHZHZYH | )( ) ( ) ( (    XZHZYH H XYZ YXH ( ( ) | ) )     XZH ) XYZ (  |  | ( )  ( ( ( ) ) ) ( ) ( | | | ) 故左式  右式，原式成立 2.14 P(X=n) = 1( 2 ) 1n  1 2 = 1( 2 n) Qbit.5d6d.com Qbit.5d6d.com

1 2 1( 2 1n  ) log( 1 2 n ) 1(n =  n) 2 = 2 bit  H(X) =  2.15 ( 2  ）μμ 1n  2 log 2  1 2  2 2 2  1   1 2 2  1 2.16 证明：记长为 2N 随机序列 n N 2 aP (= 2 1 N 2 XI (    a ) ) m N N 2 k k m 1   1  2 (nat) XX 1 2  XX N 的概率为 pk ( N 1  n N 2  X 2 N 中出现 ka 的频率 ) ，其中 XX 2 1 NX 中出现 ka 的频率为 aP ( N k ) N   1 N n 1  XI ( n  a k )  n 1 N 的概率为 npk ( 1 N ) ， X 1 N X 2  NX 2 N 中出现的频率为 ka aP (' N k ) 2 N 1 N   XI ( Nn 1   a k )  n n 2 N  NP ( a k ) 的概率为 npk ( 2 N ) ，则有 aP (2 N k )  1 2 aP ( N k )  1 2 aP (' N k ) 所以  aPIE ( ( 2 N ), ap ( k k  ))   IE   1( 2 aP ( N k )  1 2 aP (' N k ), ap ( )) k    I aP ( N 根据鉴别信息的凸性 1( 2  aPI ( ( aP (' N 1 2 又 E ),  ) k N k k 1 2    ), ap ( k ))  1 2 aPI ( ( N k ), ap ( k ))  ap ( ))  k 1 2 aPI ( (' N k ), ap ( )) k     1 2 而根据随机序列的平稳性，有： N aPI (' ( 1 2  aPIE ( ( N ), ap ( )) k k ), ap ( k k  ))  1 2  aPIE (' ( N ), ap ( k k  ) ), ap ( )) k k  aPI ( (' ), ap ( )) k k      aPIE ( ( N ), ap ( k k  ))   aPIE (' ( N ), ap ( k k  ) aPI ( ( N 1 2 E     aPIE ( ( 2 N N 1( 2 1 2  IE   1   2   aPIE ( ( E N N ), ap ( k k  ))    aP ( N )  k 1 2 aP (' N k ), ap ( )) k    aPI ( ( ), k k ap ( )) )) k ), k ap (  1 2 aPI ( (' N k ), ap ( )) k     Qbit.5d6d.com Qbit.5d6d.com

( xy log) p 2 p 1 ( ( xy ) xy ) dxdy ; 2.17 解： ; ppI ( 1 , 2 p 1 ( xy )  其中 xg )( 2 ; ) p  XY  yhxg )()( 1 2  x 1 2  y   2 yh )( exp(  2 exp(  ppI ( 1 , 2 ; XY )   p 2 ( xy log) 2 2 2 ; ) x 2  x y 2  y p xy ) 2 yhxg )()( ( ) ; 2 2  1      log   1(2 e 2  1(2 dxdy ) dxdy   p 2 ( xy ) log( 1   log pe  ( xy ) 2  log( 1  log( 1 2   1  2  1 )  )    1  2 x  x ) 2     2  2  2 xy y  y  y x 2      1 2     2 2 x y  y  2 x 2      dxdy     2   2    x ) XE ( 2 )  2  2  y YE ( 2 )  2   y x XYE ( )     ppI ( , 1 ; XY )  2  p 1 ( xy log)  log(  log( 1  1  1 1 2  2  dxdy p 1 p 2 ( ( )  xy ) xy ) log  1(2 e 2   2   2    x ) XE ( 2 )  2   y 2 YE ( 2 )  2   y x XYE ( )     )  2   2  1 log e ppJ ( 1 , 2 ; XY )  ppI ( 1 , 2 ; XY )  ppI ( , 1 ; XY )  2 2   2  1 log e 当 XY 满足当 XY 满足 p 1 p 2 ( xy ) 分布时， YXI ; ( )  ;0 ( xy ) 分布时， YXI ; ( )  ppI ( 1 , 2 ; XY )  log( 1  1 2  ) 2.18  )Y|X;q,q(I 2 1 )X;p,p(I =  k log)x(p 2 k 1 2 )x(p k 2 )x(p k 1  k j log)y(h)y|x(q 2 2 k j j k )y|x(q 2 j )y|x(q 1 j k 其中  k )y,x(q 2 j k  y(h 2 j ) )y,x(q 1 j k  )y(h 1 j  k Qbit.5d6d.com Qbit.5d6d.com

 j )y,x(q 2 j k  )x(p 2 k )y,x(q 1 j k  )x(p 1 k  j 1 k k 2 k )y,x(q 1 j 1 )y|x(q)x(p 2 j )y|x(q)x(p j 1 )x(p)y(h 2 )y,x(q 2 1 j )y,x(q  1 j =0  k k 2 k )y(h)x(p 1 j 1 )y,x(q 1 j k  )y(h)x(p 1 j 1 k 于是 = )X;p,p(I  1 2 2 )Y|X;q,q(I   k log)y,x(q 2 k j  k j log)y,x(q 2 k j j k k =  )y,x(q  2 j )X;p,p(I )y,x(q  2 j )X;p,p(I k 1 2 1 2 当当 =  k j xq ( 2 k 2 1 k 2 k )y(h)x(p  1 j )y(h)x(p ，且 2 )Y|X;q,q(I  ，且 )y(h)x(p 2 )Y|X;q,q(I  xq y ( , ) j 1 yh xp ) ( ( 1 1 log) k  y ) , 2 1 2 k j j 0 ＞＜时时 ∴ 关系不定 2.19 解：天平有 3 种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为 log3， 12 个球中的不等重球（可较轻，也可较重）的不确定性为：  log 1 12 1  2 log 24 因为 3log3＞log24 ∴3 次测量可以找出该球具体称法略。 Qbit.5d6d.com Qbit.5d6d.com

第三章习题答案 , 2  X N )  UH ( ) 1 N log XXP ( 1 XXP ( 1 , 2 其中 UH ( )  1 N X ) N  exp(  UH ( )) P i log P i  K  i  i 3.1 解： lim N  lim N    3.2 解： (1) UH (   )      ) P log     UP ( N 时 设该序列中出现 0 n 0 log 1 4  ( nN  log) 0 N 0 的个数为 1 的个数为 ( ), 0 则上式变为 n ，则出现 0 3 4 log  1 4 1 4  3 4 log 3 4  nN        0 log     log 1 4       1 4  n 0 N    0    P        P  P 3 4 1   4  N 3( 4 4       N 4 n 0 N 1( 4  ) 0  C     (2) N 3 4 ) N 4mod  0 N 4mod  0  时 05.0 同样可推得典型序列的      0  3() 4 1( 4 C kN  k N ) k k 概率为  k N k 满足 1 log 3 k 没有满足上述条件的 1 4 20  3.3 0.469 bit/sample 3.4 1) 不妨设 2  M j  jk (  0,0  k j )2 ，可进行如下编码：首先作一深度为 j Qbit.5d6d.com Qbit.5d6d.com

资料库

朱雪龙《应用信息论基础》习题答案.pdf

相关推荐

课程资源

热门标签

最新资料