信息论习题答案（清华版）.doc-资料库

《信息理论与编码》习题参考答案第 1 章 1. 信息是什么 ?信息与消息有什么区别和联系 ? 答：信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。 2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。语用信息是信息的最高层次。它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。三者之间是内涵与外延的关系。第 2 章 1. 一个布袋内放 100 个球，其中 80 个球是红色的，20 个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？答：依据题意，这一随机事件的概率空间为 X P           x x 1 2 0.8 0.2    其中： 1x 表示摸出的球为红球事件， 2x 表示摸出的球是白球事件。 a)如果摸出的是红球，则获得的信息量是 log log 0.8      I x 1   p x 1  （比特） b)如果摸出的是白球，则获得的信息量是 log    I x  2  p x  2   log 0.2 （比特） c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取 n 次，红球出现的次数为  1 np x 次，白球出现的次数为  np x 次。随机摸取 n 次后总共所获得信息量为   np x I x 1  np x  I x 2      1 2 2 d)则平均随机摸取一次所获得的信息量为   H X   np x I x 1  1 1 n    log   p x 1 0.72 比特/次         p x  np x  log 2 2   I x  p x 2    2     p x 1   2. 居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，而女孩中身高 1.6 米以上的占总数的一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息，问获得多少信息量？答：设事件 A 为女孩是大学生；设事件 B 为女孩身高 1.6 米以上。

根据题意，则知：   P A  0.25   P B  0.50  P B A   0.75 而“身高 1.6 米以上的某女孩是大学生 ”这消息表明是在 B 事件发生的条件下，A 事件发生。所以其概率为  P A B  根据贝叶斯定律可得  P A B     P AB   P B   P A P B A    P B    0.25 0.75  0.5  0.375 则得知“ 身高 1.6 米以上的某女孩是大学生 ” 这消息，能获得的信息量  I A B    log  P A B    log 0.375 1.415  （比特） 3. 设一个系统传送 10 个数字：0,1,2,…,9。奇数在以 0.5 的概率传送时，接收端有可能错误地判断成为另外的奇数，而其他数字完全正确地接收。求收到一个数字后平均得到的信息量？答：发送集合 X   0,1, … 接收集合  ,9 , Y   0,1, …  ,9 , 其中  p y   i  1 10  i  0,2,4,6,8   p y  p y  i x   i x    j j   1 8 1 2  i ,  i , j  1,3,5,7,9 i  j  j  1,3,5,7,9 i  j    ) i  p x    j p y  i x    j 1 10  i , j  1,3,5,7,9   i , j 因为所以 ( p y 最后得：  H Y    9  i  0  p y  i  log  p y  i   log10 3.232  （比特 /符号） 4. 某一无记忆信源的符号集为{0,1}，已知信源的概率空间为 X P            0 3 4 1 1 4     。 (1) 求信源熵。 (2) 求由 m 个“0”和(100- m )个“l”构成的某一特定序列的自信息量的表达式。 (3) 计算由 100 个符号构成的符号序列的熵。答： 2

（1）信源熵为 1 4 （2）该特定序列用 A 表示则  H X   log 4  3 4 log 4 3  0.8113 比特/符号 I  A    log 1 4 m        100  m     （3）因为信源是无记忆信源，所以      3 4 m 41.5 1.585 (bit)  H X 100   100  H X   81.13 比特/符号序列 5. 有一离散无记忆信源，其输出为  X   0,1,2 ，相应的概率为 0 p  ， 1 1/ 4 p  ， 2 1/ 4 p  ， 1/ 2 设计两个独立实验去观察它，其结果分别为  Y  1  0,1 ，  Y  2  0,1 。已知条件概率如表 2-4 所示。  p y x 1  0 1 表 2-4 习题 5 表  x  p y 2 0 1 0 1 2 1 0 1/2 0 1 1/2 0 1 2 1 1 0 0 0 1 (1) 求  I X Y 和  1; 2; I X Y ，并判断作哪一个实验好些。 (2) 求   2 1 I X Y Y ，并计算作 Y1和 Y2 两个实验比作 Y1或 Y2中的一个实验各可多得多少关于 X ; , 的信息。 (3) 求  I X Y Y 和   ; 1 2  1 2 I X Y Y ，并解释它们的含义。 ; 答：（ 1）   I X Y H Y 1 =  ; 1    H Y X 1  1P Y X 已知。    I X Y H Y 2 =  ; 2    H Y X 2  2P Y X 已知。  由  P XY 1    P X P Y X  1    ，要求  1H Y 和  1H Y X 需要先求  1P Y ，   P XY ， 1 ，要求  2H Y 和  2H Y X 需要先求  2P Y ，   P XY ， 2  及联合概率分布与边缘概率分布的关系可得  1 P XY 及  1P Y ，如表 2-1 所示：表 2-1 3

1Y 1  P XY X 0 1 2 1P Y  2Y 2  P XY X 0 1 2  2P Y 1 0 1/4 1/4 1/2 0 1/4 0 1/4 1/2 0 1/4 1/4 0 1/2 1 0 0 1/2 1/2 所以  比特/符号 1  H Y  1 4  log1   1 log 2 2 1  4  1 2 1 4 H Y X log1    1  H Y 1  log 2 log 2 1 1 log 2 4 1 1 1 =   2 2   比特/符号 1 2 比特/符号  H Y X   1  ; I X Y 1 同样可求出  P XY 及  2P Y ，如表 2-2 所示： 2 所以   H Y X  2 H Y  1 4   ; I X Y 2   2 1 2 log1  log 2 1 4    1 2 log1  1 2 H Y X  2  H Y 2 log 2 1  比特/符号  比特/符号 log1 0  1  比特/符号因此第二个实验好些。  （ 2 ）  I X YY 1 2 ;  H Y Y 2 2     H Y Y X 2 2  P XYY 。由于 1Y 、 2Y 是相互独立的实验，所以   1 2  P YY X 1 2  ，因此要求出  P YY X 和 1 2   1 2 P YY ，    = P Y X P Y X 。   1 2 1  P Y X  P Y X 2        P YY X 1 2    P XYY 1 2    P YY 1 2  （见表 2-2 和表 2-3）表 2-2  P YY X 1 2 X 1 2YY  0 1 2 00 01 10 11 1 0 0 0 0 1/2 4 0 1 0 0 0 1/2

1 2YY  P XYY 1 2  X 0 1 2  P YY 1 2  表 2-3 00 01 10 11 0 1/4 0 1/4 0 0 1/4 1/4 1/4 0 0 1/4 0 0 1/4 1/4 log 4 log 2 1   H Y X  1 log 4 4 1  H YY X  4   I X YY 1 2 1 2    ; log1   H YY 1 2   1 4 1 4 1 log 4 4 1 4  log1   H YY X 1 2   1 4 1 4 2    log 4  比特/符号  比特/符号 2 1 2 3 = 比特/符号 2 log 2 1 2 可以看到：做 1Y 和 2Y 两个实验比做 1Y 一个实验可多得到的信息为  I X YY 1 2 ;    ; I X Y 1    3 2 1 2 =1 比特/符号可以看到：做 1Y 和 2Y 两个实验比做 2Y 一个实验可多得到的信息为  I X YY 1 2 ;    ; I X Y 2 （3）  I X Y Y 2 ; 1    I X YY 1 2 ;    ; I X Y 2     比特/符号 1 3 1= 2 2 1 1= 比特/符号，它表示做完 2Y 实验以   2 3 2 后，从 1Y 实验可得到关于 X 的信息量。  I X Y Y 2 ; 1    I X YY 1 2 ;    ; I X Y 1    3 2 1 2 =1 比特/符号，它表示做 1Y 完实验以后，从 2Y 实验可得到关于 X 的信息量。 X 6. 设信源  P X         x x 1 2 0.6 0.4       2-7 所示。求：通过一干扰信道，接收符号为   Y , y y 1 2  ，信道传递概率如图 (1) 信源 X 中事件 1x 和 2x 分别携带的自信息量。 (2) 收到消息  jy j  后，获得的关于  1,2 ix i  1,2 的信息量。 (3) 信源 X 和信源Y 的信息熵。 5

(4) 损失熵  H X Y 和噪声熵   H Y X 。  (5) 接收到消息Y 后获得的平均互信息。图 2-7 习题 6 图  P x 1   0.6  P x 2   0.4  I x   1 log 0.6 0.737  (比特)  I x   2 log 0.4 1.322  (比特) 答：（1）因为所以（2）收到消息 iy 的概率为： 2     0.2  所以收到消息 jy 后获得的关于 ix 的信息量即    P x P   P y 1  P y 1  P y  1 i  1     2 i y i I x y 为： ,i j     x i  0.6* 5 6  0.4* 3 4  0.8  , I x y 1 1   log  , I x y 1 2   log  , I x y 1 2   log   P y x 1 1   P y 1  log    P y 2  P y x 1  2  P y x 1   P y 1 2  log  log  , I x y 2 2   log  P y 2  P y 2 x  2   5 6 0.8 1 6 0.2 3 4 0.8 1 4 0.2  0.059 (比特/符号)   0.263   0.093 (比特/符号) (比特/符号) log  0.322 (比特/符号) （3）  H X    2  i 1   P x i  log  P x i     0.6*log 0.6 0.4*log 0.4    0.971 (比特/符号) 6

2  i 1   H Y    （4）其中  P y i  log  P y i     0.8*log 0.8 0.2*log 0.2    0.722 (比特/符号) H Y X     , X Y  , P X Y  log 1  YP  X  , P x y 1 1    , P x y 1 2    , P x y 1 2    , P x y 2 2    P x P y x 1   1 1   0.6*   P x P y  1  x 1  0.6* 2  0.5  0.1  P x P y x   2 1   2 0.4*   P x P y  2 x 2   2 0.4*  0.3  0.1 5 6 1 6 3 4 1 4 所以噪声熵：  H Y X   0.5*log 1 5 6  0.1*log 1 1 6  0.3*log 1 3 4  0.1*log 1 1 4 ] 损失熵：  0.715 (比特/符号) H X Y      H X  0.964 (比特/符号)  H Y X     H Y   0.971 0.715 0.722   （5）接收到消息Y 后所获得的平均互信息量为：  , I X Y    H X   H X Y    0.971 0.964 0.007   (比特/符号) 7. 某信源的消息符号集的概率分布和二进制代码如题表 2-5 所示。表 2-5 习题 7 表信源符号 0u 1u 2u 3u 概率代码 1/2 0 1/4 10 1/8 110 1/8 111 试求： (1) 消息的符号熵。 (2) 平均每个消息符号所需要的二进制码元的个数或平均代码长度结果求码序列中的一个二进制码元的熵。 (3) 消息是由符号序列组成的，若各符号之间相互独立，假设其对应的二进码序列中出现“0” 和“1”的无条件概率为  0p 和  1p ，求相邻码间的条件概率  p 0 1 、  p 1 0 答： 7 、  p 、  p 11 0 0 。

（ 1）信源熵为  H U   1 2 log 2  1 4 log 4  1 4 log8 （ 2）设平均代码长度为 L ，则  比特/符号 7 4 L          二进制码元/符号 2 1 3 3 1 2 1 4 1 8 1 8 7 4 二进制码元的熵为  1  比特/二进制码元  H U L （ 3）由于符号间相互独立，因此 1 4 L   0 1 2  p   1 8  ，   1 p 1 2 1   p   0  1 2 为求相邻码元间的条件概率，先求相邻码元间的联合概率： p   1,1  1 1 8 8     2 1 8 L    1 4   1 8     1 4 所以同理   11 p    0 1 p 1     1,1 p   1 p  11 p  1 2   1 2  1 4 1 1 2 2      1 1 4 2 1 1 8 2 p  0,0    p 0 0    p p    1 0  p 1   p 0 0   L 0,0   0  1 2 1 2 8. 二次扩展信源的熵为  H X ，而一阶马尔可夫信源的熵为  2 H X X ，试比较两者的大小， 2  1 并说明原因。答：  H X 2   2  H X    H X    H X X 2  1 二次扩展信源的熵是一个联合熵，其值应该大于单符号信源熵，而马尔可夫信源的熵 8

资料库

信息论习题答案（清华版）.doc

相关推荐

课程资源

热门标签

最新资料