2.1 信息速率是指平均每秒传输的信息量 点和划出现的信息量分别为 ， log log, 3 3 2 一秒钟点和划出现的次数平均为 一秒钟点和划分别出现的次数平均为 1 22.0  3 10 4  15 4 14.0  3 5. 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为 10 4 log 3 2  5 4 log 3  15 4 log 53  2 2.3 解： (a)骰子 A 和 B，掷出 7 点有以下 6 种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为 6/36=1/6，所以信息量 -log(1/6)=1+log3≈2.58 bit (b) 骰子 A 和 B，掷出 12 点只有 1 种可能： A=6,B=6 概率为 1/36，所以信息量 -log(1/36)=2+log9≈5.17 bit 2.5 解： 出现各点数的概率和信息量： 1 点：1/21，log21≈4.39 bit； 2 点：2/21，log21-1≈3.39 bit； 3 点：1/7，log7≈2.81bit； 4 点：4/21，log21-2≈2.39bit； 6 点：2/7，log(7/2)≈1.81bit 平均信息量： (1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×1.81≈2.4bit 5 点：5/21，log（21/5）≈2.07bit； 2.7 解： X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语 P(X=1)=1/4, P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0)=0.4, P(Z=1/Y=0)=0.4 (a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=0.075, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=0.125 P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10； P(X=0)=3/4; P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=0.2 P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=0.375, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=0.625 I(X ;Y=1)= )1Y(I)1Y/(P log)1Y/(P  x;   x x  )1Y/(P x  )P( x  x = log)1Y/0X(P   x )1Y/0X(P  P(X  0)   log)1Y/1X(P   )1Y/1X(P  P(X  1)  =0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-1≈0.45bit 

(b) 由于 P(Z=1/ Y=1)=1, 所以 P（Y=1，Z=1/X=1）= P（Y=1/X=1）=0.5 P（Y=1，Z=1/X=0）= P（Y=1/X=0）=0.1 那么 P（Z=1/X=1）= P（Z=1,Y=1/X=1）+ P（Z=1,Y=0/X=1）=0.5+ P（Z=1/Y=0，X=1）P （Y=0/X=1）=0.5+0.5*0.4=0.7 P(Z=1/X=0)= P （ Z=1,Y=1/X=0 ） + P （ Z=1,Y=0/X=0 ） =0.1+P(Z=1/Y=0 ， X=0)P(Y=0/X=0)=0.1+0.9*0.4=0.46 P（Z=1,X=1）= P（Z=1/X=1）*P(X=1)=0.7*0.25=0.175 P（Z=1,X=0）= P（Z=1/X=0）*P(X=0)= 0.46*0.75=0.345 P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0) = 0.52 P(X=0/Z=1)=0.345/0.52=69/104 P(X=1/Z=1)=35/104 I(X ;Z=1)=  x )1Z(I)1Z/(P  x;  x log)1Z/(P  x  x = log)1Z/0X(P   )1Z/0X(P  P(X  0)   log)1Z/1X(P   )1Z/(P x  )P( x  P(X )1Z/1X(P  1)  =(69/104)log(23/26)+( 35/104)log(35/26) ≈0.027bit (c)H（X）=0.25*log(1/0.25)+0.75*log(1/0.75)=2-(3/4)log3=0.811bit H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1) -P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0) =-0.125*log0.5-0.125*log0.5-0.075*log0.1-0.675*log0.9 =1/4+(3/40)log10-(27/40)log(9/10)≈0.603bit H(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3=1.414bit P(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0)=(1-0.4)*(0.75-0.075)=0.405 P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0)=0.4*0.675=0.27 P(X=1,Y=0,Z=1)= P(Z=1/ X=1,Y=0)* P(X=1,Y=0)=0.4*(0.25-0.125)=0.05 P(X=1,Y=0,Z=0)= P(Z=0/ X=1,Y=0)* P(X=1,Y=0)=0.6*0.125=0.075 P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=0,Z=1)=0.175-0.05=0.125 P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0 P(X=0,Y=1,Z=1)= P(X=0,Z=1)- P(X=0,Y=0,Z=1)= 0.345-0.27=0.075 H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.075*log 0.075=(113/100)+(31/20)log10-(129/50)log3 =0.528+0.51+0.216+0.28+0.375+0.28=2.189 bit H(Z/XY)=H(XYZ)-H(XY)= -28/25+(4/5)log10-12/25log3 =0.775bit 2.9 解： A，B，C 分别表示三个筛子掷的点数。 X=A, Y=A+B, Z=A+B+C 由于 P(A+B+C/ A+B)=P(C/A+B)=P(C) 所以 H(Z/Y)=H(A+B+C/ A+B)=H（C）=log6 =2.58bit H(X/Y)= H(A/Y) 

Y 12 11 10 9 8 7 6 5 4 3 2 组合数目 组合情况（A+B） P(A=a/Y=y) 1 2 3 4 5 6 5 4 3 2 1 6+6 5+6,6+5 4+6,5+5,6+4 3+6,4+5,5+4,6+3 ... 1+6,2+5,3+4,4+3,5+2,6+1 ... ... ... ... 1+1 1 1/2 1/3 1/4 ... 1/6 ... ... ... ... 1 一共 36 种情况，每种情况的概率为 1/36，即 P(A=a,Y=y)=1/36 H(X/Y)=H(A/Y)=(1/36)[(-1*log1-2*log(1/2)-3*log(1/3)-4*log(1/4)-5*log(1/5) )*2-6*log(1/6)]=1. 89bit 由于 P(A+B+C/ A+B,A)=P(C/A+B,A)=P(C) H(Z/XY)=H(C) =log6 =2.58bit 由于 P(A=x,A+B+C=z/A+B=y)=P(A=x,C=z-y/ A+B=y)=P(A=x/A+B=y)P(C=z-y/A+B=y)= P(A= x / A+B=y)P(C=z-y)=P(A/Y)P(C) P(A/Y)上面已经给出。 Y 12 11 10 9 8 7 6 5 4 3 2 组合数目 6 12 18 24 30 36 30 24 18 12 6 组合情况（A+B+C） 6+6+1, 6+6+2,...., 6+6+6 ... ... ... ... ... ... ... ... ... ... P(A=x,A+B+C=z/A+B=y) 1/6 1/12 1/18 1/24 ... 1/36 ... ... ... ... 1/6 一共 216 种情况，每种情况的概率为 1/216，即 P(XYZ)=1/216 H(XZ/Y)= (1/216)[(-6*log(1/6)-12*log(1/12)-18*log(1/18)-24*log(1/24)-30*log(1/30))*2-36*log(1/36)]= (1/36)*[(log6+2log12+3log18+4log24+5log30)*2+6log36]=4.48 bit 由于 P(Z/X)=P(B+C/A)=P(B+C) B＋C 的组合共 36 种: B+C 12 组合数目 1 组合情况（B+C） 6+6 P(Z/X) 1/36 

2 3 4 5 6 5 4 3 2 1 )log ( p z x / ) 11 10 9 8 7 6 5 4 3 2  / ) H Z X xyz  (     ( ) p a       abc ( ( p xz ( ) p a p a b c a / )log ( p a b c a   / ) ( p b c  )log ( p b c H B C    ) ( a bc 5+6,6+5 4+6,5+5,6+4 3+6,4+5,5+4,6+3 ... 1+6,2+5,3+4,4+3,5+2,6+1 ... ... ... ... 1+1 ) 2/36 3/36 4/36 ... 5/36 ... ... ... ... 1/36 = (1/36)*{[log36+2log(36/2)+ 3log(36/3)+ 4log(36/4)+ 5log(36/5)]*2+6log(36/6)}bit 2.11 解：P(0/0)=P(1/1)=1- p, P(1/0)=P(0/1)= p (a) P(ul)=1/8 P(ul，0)=P(ul)×P(0/ul)=(1/8)×(1-p) 接收的第一个数字为 0 的概率： P(0)=P(ul)×P(0/ul)+ P(u2)×P(0/u2)+……. P(u8)×P(0/u8) =4×(1/8)×(1-p)+ 4×(1/8)×p=1/2 I(ul; 0)=log[ P(ul，0)/P(0)P(ul)]=1+log(1-p) (b) P(ul，00)=P(ul)×P(00/ul)=(1/8)×(1-p)2 P(00)=P(ul)×P(00/ul)+ P(u2)×P(00/u2)+……. P(u8)×P(00/u8) =2×(1/8)×(1-p)2 +4×(1/8)×p (1-p)+ 2×(1/8)×p2 =1/4 I(ul; 00)=log[ P(ul，00)/P(00)P(ul)]= 2+2log(1-p) (c) P(ul，000)=P(ul)×P(000/ul)=(1/8)×(1-p)3 P(000)=P(ul)×P(000/ul)+ P(u2)×P(000/u2)+……. P(u8)×P(000/u8) = (1/8)×(1-p)3 +3×(1/8)×p (1-p) 2+3×(1/8)×p 2 (1-p) +(1/8)×p3 =1/8 I(ul; 000)=log[ P(ul，000)/P(000)P(ul)]= 3+3log(1-p) (d) P(ul，0000)=P(ul)×P(0000/ul)=(1/8)×(1-p)4 P(0000)=P(ul)×P(0000/ul)+ P(u2)×P(0000/u2)+……. P(u8)×P(0000/u8) = (1/8)×(1-p)4 +6×(1/8)×p 2 (1-p) 2+ (1/8)×p4 I(ul; 0000)=log[ P(ul，0000)/P(0000)P(ul)]=  3log{2 2 } log{   p (1  2 6 p ) p (1  } 2 p )  4 p (1  4 p )  

2.12 解： Z 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 概率 1/63 3/63 6/63 10/6315/6321/6325/6327/6327/6325/6321/6315/6310/636/63 3/63 1/63 I(Y;Z)=H(Z)-H(Z/Y) I(X;Z)= H(Z)-H(Z/X) I(XY ;Z)=H(Z)-H(Z/XY) I(Y;Z/X)=I(XY;Z)-I(X;Z) I(X;Z/Y)= I(XZ;Y)-I(Y;Z)= H(XZ)-H(XZ/Y) -I(Y;Z) 以上可以根据 2.9 的结果求出 -I(Y;Z) ＝ H(X)+H(Z/X) -H(XZ/Y) 2.27 解：考虑到约束条件   0 ( ) 1, q x    0 xq x m ( )  采用拉格朗日乘子法 ( ( ))   H q x  c  (   1 2 m  ) 0     0 ( )log ( ) q x  q x dx x    e 1 2 ( ) q x ( )log q x    [  1  0 xq x dx m ( )  ]  [  2   0 dx (   1 2 m  )  log e    0 ( ) q x dx  a  1]    1 2 x ( ) q x ( )[ q x  1] dx 当且仅当 ( ) q x  x   a   1 2 时，等式成立。 将 ( ) q x  x   a   1 2 带入   0 ( ) q x dx  1,   0 xq x dx m ( )  ：  1  1 ln m a   2 , a  m 实现最大微分熵的分布 ( ) q x   x ln m a  1 m a 1 m e ln ( a  x ln m a )   x m e 1 m ，相应的熵值 log（me） 2.29 证明： ( ) Q x (a)    所以 Q(x)为概率分布。 ( ) Q x  1 (1   ) ( ) Q x  2 (1     ) 1   (b) 即证明熵的凸性。 )  (1    ) 1 ( H U    Q x 1 ( )log ( H U   (1  ) ) Q x  ( )log 2   ( ( ) Q x  1 (1   ) Q x  ( ))log 2 1 ( ) Q x    Q x 1 ( )log (1   )   Q x ( )log 2  log e    Q x 1 ( )[ 1]   log e (1   )  Q x ( )[ ( ) Q x ( ) Q x 2 1] 0   1 ( ) Q x 2 ( ) Q x ( ) Q x  2 2  ) 1 ( H U 1 ( ) Q x 1 ( ) Q x ( ) Q x 1 ( ) Q x ( ) Q x 1