信息论与编码_陈运主编_无水印完整版答案.pdf-资料库

2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示 4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示 8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： n 四进制脉冲的平均信息量 symbol 24 XH log log bit = = = ) ( / 1 八进制脉冲的平均信息量二进制脉冲的平均信息量 XH ( XH ( 2 0 ) = log n = log ) = log n = log 38 = bit 12 = bit / symbol / symbol 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。 2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量 X 代表女孩子学历 X P(X) x1（是大学生） x2（不是大学生） 0.25 0.75 设随机变量 Y 代表女孩子身高 y1（身高>160cm） Y P(Y) 0.5 y2（身高<160cm） 0.5 已知：在女大学生中有 75%是身高 160 厘米以上的即： yp ( 1 / x 1 ) = 75.0 bit 求：身高 160 厘米以上的某女孩是大学生的信息量 ypxp / ( ) ( 1 yp ( ) 1 xp ( 1 xI ( 1 log log −= −= 即： y 1 y 1 ) ) / / 1 x 1 ) −= log 25.0 75.0 × 5.0 = .1 bit 415 2.3 一副充分洗乱了的牌（含 52 张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取 13 张牌，所给出的点数都不相同能得到多少信息量？解： (1) 52 张牌共有 52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： =ixp ( ) 1 !52 log xI ( i ) −= xp ( i ) = log !52 = bit 581.225 (2) 52 张牌共有 4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下： · 1 ·

xp ( i ) = 4 13 C 13 52 xI ( i ) −= log xp ( i ) −= log = .13 bit 208 4 13 C 13 52 2.4 设离散无记忆信源 X XP ( ⎡ ⎢ ⎣ ⎤ =⎥ ⎦ ) ⎧ ⎨ ⎩ x 0 = 1 8/3 1 x = 2 4/1 2 x = 3 4/1 x = 4 8/1 3 ⎫ ⎬ ⎭ ，其发出的信息为 (202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？解： (1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3，因此此消息发出的概率是： ⎛=p ⎜ ⎝ 3 8 14 ⎛×⎟ ⎞ ⎜ ⎝ ⎠ 1 4 25 ⎛×⎟ ⎞ ⎜ ⎝ ⎠ 1 8 ⎞ ⎟ ⎠ 6 此消息的信息量是： I −= log = p bit 811.87 nI / = 811.87 45/ = bit 951.1 (2) 此消息中平均每符号携带的信息量是： 2.5 从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士： xp %7) ( = Y xI log ) ( −= Y xp ) %93 ( = xI log ) ( −= 2 ∑ .0)93.0 bit 837 bit 366 .0 bit 105 symbol 93.0 log log 07.0 XH ( 07.0( log 07.0 log 93.0 xp ( Y log) = .3 xp ( xp ( i ) xp ( i −= −= ) −= ) −= = ) N N N + / = i 女士： XH ( ) −= ∑ 2 i xp ( i log) xp ( i ) −= .0( 005 log 005.0 + .0 995 log .0 .0)995 = bit 045 / symbol 2.6 设信源 X XP ( ⎡ ⎢ ⎣ ⎤ =⎥ ⎦ ) x x ⎧ 2 1 ⎨ 19.02.0 ⎩ x 3 18.0 x 4 17.0 x 5 16.0 x 6 17.0 ⎫ ⎬ ⎭ H(X) > log6 不满足信源熵的极值性。解：，求这个信源的熵，并解释为什么 · 2 ·

6 ( ) xp ( i XH −= ∑ −= = XH ) > i log2.0( bit 657.2 6 log = ( 2 log) xp ( i ) + 19.02.0 symbol / 585.2 log 19.0 + 18.0 log 18.0 + 17.0 log 17.0 + 16.0 log 16.0 + 17.0 log )17.0 不满足极值性的原因是 6 ∑ i ixp ( 07.1) = > 。 1 2.7 证明：H(X3/X1X2) ≤ H(X3/X1)，并说明当X1, X2, X3是马氏链时等式成立。证明： 1 3 / XXXH ( ∑∑∑ −= ∑∑∑ −= i 1 2 3 i i i 1 i 2 ( ) − 2 xxxp ( i 2 XXH ) / 1 log) i 1 3 3 i xp ( i 3 xxxp ( i 2 i 1 i log) 3 xp ( i 3 / / xx i i 1 2 ) + xx i i 1 2 ) + i 1 ∑∑ xxp ( i i 1 ∑∑∑ 3 i i 1 i 2 i 3 log) 3 xp ( i 3 / x i 1 ) xxxp ( i 2 i 1 i log) 3 xp ( i 3 / x i 1 ) e 2 log xxxp ( i 2 i 1 i ) 3 ⎞ ⎟ ⎠ log 2 e i 3 xxxp ( i 2 i 1 i xxxp ( i 2 i 1 i log) ) ) 2 x / i 1 xx i i 1 ) xp ( i xp ( i xp ( i xp ( i 3 / 3 x / i 1 xx i i 1 3 / 3 3 3 ⎛ ) ⎜⎜ ⎝ xxp ( i i 1 2 ) xp ( i 3 / x i 1 ) − 2 1 − ⎞ ⎟⎟ ) ⎠ ∑∑∑ 2 i 3 i 1 i ⎞ ⎟⎟ ⎠ xxp ( i i 1 2 ) ⎡ ⎢ ⎣ ∑ i 3 xp ( i 3 / x i 1 ) 1 ⎤ −⎥ ⎦ log 2 e ∑∑∑ i 1 i 2 i 3 ∑∑∑ i 3 ∑∑∑ i 3 i i 2 2 i 1 i 1 ⎛ ⎜ ⎝ ⎛ ∑∑ ⎜⎜ ⎝ 0 i 1 2 i = ≤ = = = ∴ XXXH ( / 1 3 ) ≤ 2 XXH ( / 3 ) 1 3 3 ) 01 =− 时等式等等 xp x / ( i i 1 3 xx xp ( ) / i i i 1 2 xp xx x xp ( / ( ) / ) = i i i i i 1 1 2 3 x xx xxp xp xxp xp ( ( ) / ( ( ) / = i i i i i i i i i 1 1 1 1 3 xpx xxxp x xpxp ) / ) / ) ( ( ( ( = i i i i i i i i 1 1 1 1 2 3 xxp x x xpx xp / ( / ( ) ) ( ) / = i i i i i i i 1 1 2 1 3 XXX , _ 等式等等的等等是是马 3 3 ) ) , 氏链 2 1 3 2 3 2 2 2 当 ⇒ ⇒ ⇒ ⇒ ∴ ) 2 2.8 证明：H(X1X2 。。。 Xn) ≤ H(X1) + H(X2) + … + H(Xn)。证明： ( XXXH ++ ... ) 1 2 2 2 = 1 ; ; XXH XH X XXH ) ( ) ... ( / + n 1 XH XXI ( 0) ( ≥ ⇒ ≥ 2 XXXI XH 0) ( ( ≥ ⇒ ≥ ... 2 ) ) 3 2 1 3 1 / ) + 3 1 XXH ( ) XXXH ( ( / / 1 2 1 3 ) 2 XXXH ( / n 1 ... X 2 ) n 1 − · 3 ·

XXXI ( ; N 1 ... X 2 n 1 − 0) ≥ ⇒ XH ( ) ≥ XH ( / XX 1 2 ... X N N ) n 1 − XXH ( 1 ... X 2 n ) ≤ XH ( 1 ) + XH ( 2 ) + XH ( 3 ) ++ ... XH ( ) n ∴ 2.9 设有一个信源，它产生 0，1 序列的信息。它在任意时间而且不论以前发生过什么符号，均按 P(0) = 0.4，P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞； (3) 试计算H(X4)并写出X4信源中可能有的所有符号。解： (1) 这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符号 (2) XH ( XXXH ( symbol bit / 942.1)6.0 = log4.0( ) log6.04.0 −= + ．．．．．．．．．．．……” log6.04.0 xp xp ( ( (2) = / ) ) ×−= XH ( ) bit 971.0)6.0 XH = + log) symbol = / 2 3 1 2 i i −= log4.0(2 ∑ X ... 3 i ) N 1 − XX 1 2 ×−= log4.0(4 = XH ( N bit 971.0) = / symbol log6.04.0 + .3)6.0 = bit 884 / symbol H ∞ = lim N ∞>− XH ( / N (3) 4 XH (4) = XH X 0000 0100 1000 1100 ) ( 4 的所有符号： 0010 0110 1010 1110 0001 0101 1001 1101 0011 0111 1011 1111 2.10 一阶马尔可夫信源的状态图如下图所示。信源 X的符号集为{0, 1, 2}。 (1) 求平稳后信源的概率分布； (2) 求信源的熵H∞。解： (1) · 4 ·

/ 2 e ) 2 e / e / 1 ) 3 ) 3 1 2 2 2 3 1 2 / ) ) ) 3 ) = = = epep e epep ( ( ( ) ( ) + 1 1 1 epep epep e ( / ) ) ( ( ( ) + 2 e epep epep ( ( ) ) ( / ( ) + 3 3 epp epp ) ) ( ) ( ⋅+ ⋅= 1 epp epp ( ) ) ) ( ⋅= ⋅+ 3 2 epp epp ( ( ) ) ) ⋅= ⋅+ 3 1 ep ep ) ) ) ( ( = = 3 ep ep ( ) ( ) 1) + + = 2 3 3/1) = 3/1) = 3/1) = 2 2 3 2 3 ep ( 1 ep ( ep ( ep ( 1 ep ( ep ( ep ( 1 ep ( 1 ep ( 1 ep ( ep ( ⎧ ⎪ ⎨ ⎪ ⎩ ⎧ ⎪⎪ ⎨ ⎪ ⎪ ⎩ ⎧ ⎨ ⎩ ⎧ ⎪ ⎨ ⎪ ⎩ 3 ⎧ xp ( 1 ⎪⎪ xp ( ⎨ ⎪ xp ( ⎪ ⎩ X ⎡ ⎢ XP ( ⎣ (2) 2 2 3 −= i 1 ⎡ ⎢⎣ 3 1 + 3 1 3 1 ⎡ ⎢⎣ 3 ( p ⋅−= + −= ⋅ ) ) ) = = = ⎤ =⎥ ⎦ ) / 1 2 2 ) ) ) xpep ( ( 1 xpep ( ( xpep ( ( 3 1 3/1 3 0 ⎧ ⎨ 3/1 ⎩ 2 2 ) ) e 1 e / e / ) 3 ) xpep ( ( + 1 xpep ( ( ) + xpep ( ( ) + 3 2 ⎫ ⎬ 3/1 ⎭ 1 3 / 2 e ) 2 e / e / 1 epp ( ) ⋅= 1 epp ) ( ⋅= 3 epp ( ) ⋅= 3 2 ) epp ( ) ⋅+ 2 epp ( ) ⋅+ 3 epp ( ) ⋅+ 1 ( = ) = ( = p p 3/13/) + p p ( 3/13/) + p p 3/13/) + = = = ) ⎤ ⎥⎦ ⎤ p ⎥⎦ e 2 1) ep ( + 2 3 1) + 3 1) + 3 1 ⋅+ 3 symbol p p / ⋅ e 3 e 2 1) ep ( + 3 3 1) + 3 1) + 3 1 ⋅+ 3 p p e 3 3 H ∞ −= ∑∑ 3 j epep ( ( ) i / e i j log) ep ( / e i ) j ep ( 1 / e 1 log) ep ( 1 / e 1 / e 1 log) ep ( 2 / e 1 / e 1 log) ep ( 3 / e 1 ) ep ( 1 / e 2 log) ep ( 1 / ep ( 1 / e 3 log) ep ( 1 / ep ( 2 ep ( 2 / e 2 log) ep ( 2 / / e 3 log) ep ( 2 / ep ( 3 / e 2 log) ep ( 3 / e 2 ) ep ( 3 / e 3 log) ep ( 3 / e 3 p ⋅ log p 1 ⋅+ 3 log p log ) bit log p 1 ⋅+ 3 p ⋅ log ⋅ log p 1 ⋅+ 3 p ⋅ log p p log p ⋅+ 2.11 黑白气象传真图的消息只有黑色和白色两种，即信源 X={黑，白}。设黑色出现的概率为 P(黑) = 0.3，白色出现的概率为 P(白) = 0.7。 (1) 假设图上黑白消息出现前后没有关联，求熵 H(X)； (2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2， P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H2(X); (3) 分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小，并说明其物理含义。解： (1) XH ( log7.03.0 log3.0( bit 881 symbol log) )7.0 −= .0 = + ) ) / xp ( i −= ∑ xp ( i i (2) · 5 ·

2 1 ) ) eepep eepep ( ) ( / ) ( / ( + 1 1 1 2 epep e epep e ) ( ( / ) ( ( / + 1 2 ep ) (1.0) + 2 ep (2.0) ) + 1 2 2 1 2 2 2 2 ep ( ⎧ 1 ⎨ ep ( ⎩ ep ( ⎧ 1 ⎨ ep ( ⎩ ep ( ⎧ ⎨ ep ( ⎩ 1 ep ( ⎧ 1 ⎨ ep ( ⎩ H ) ) = ) ) = 2 ep (8.0) = 1 ep (9.0) = ep (2) ) = 1 ep 1) ( ) + = 3/1) = 3/2) = 2 ∑∑ −= i 1 ⎛ −= ⎜ 3 ⎝ bit 553 .0 log8.0 = × / ∞ 2 j i symbol epep ( ( ) / e i j log) ep ( / e i ) j 18.0 ×+ 3 log2.0 22.0 ×+ 3 log1.0 21.0 ×+ 3 log9.0 9.0 ⎞ ⎟ ⎠ (3) η 1 = η 1 = = %9.11 = %7.44 log log ∞ = ∞ = 2 881.02 − log 553.02 − log 2 HH 0 0 HH 0 − H − H 0 H(X) > H2(X) 表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。 2.12 同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求： (1) “3 和 5 同时出现”这事件的自信息； (2) “两个 1 同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即 2, 3, … , 12 构成的子集）的熵； (5) 两个点数中至少有一个是 1 的自信息量。解： (1) xp ( i ) xI ( i ) (2) xp ( i ) xI ( i ) =×+×= 1 1 6 6 log 1 6 xp ( i −= ) −= 1 6 1 18 log 1 18 = .4 bit 170 =×= 1 1 6 6 log −= xp ( 1 36 ) i −= log 1 36 = .5 bit 170 (3) 两个点数的排列如下： 14 12 13 11 15 16 · 6 ·

21 31 41 51 61 22 32 42 52 62 23 33 43 53 63 24 34 44 54 64 25 35 45 55 65 26 36 46 56 66 共有 21 种组合：其中 11，22，33，44，55，66 的概率是其他 15 个组合的概率是 12 =×× 6 1 6 1 18 1 6 =× 1 6 1 36 XH ( ) −= ∑ i xp ( i log) xp ( i ) 6 ×−= ⎛ ⎜ ⎝ 1 36 log 1 36 + 15 × 1 18 log 1 18 ⎞ =⎟ ⎠ .4 bit 337 / symbol (4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： X ⎡ ⎢ XP ( ⎣ XH ( ) ) ⎤ =⎥ ⎦ −= 2 ⎧ ⎪ 1 ⎨ ⎪⎩ 36 ∑ 3 1 18 xp ( 4 1 12 log) i 5 1 9 xp ( i 6 5 36 7 1 6 8 5 36 9 1 9 10 1 12 11 1 18 12 1 36 ⎫ ⎪ ⎬ ⎪⎭ ) i log 1 36 2 ×+ 1 18 log 1 18 2 ×+ 1 12 log 1 12 12 ×+ 9 log 1 9 2 ×+ 2 ×−= 1 ⎛ ⎜ 36 ⎝ bit 274 .3 = (5) / symbol 5 36 log 5 36 + 1 6 log 1 6 ⎞ ⎟ ⎠ 11 = 11 36 xp ( i ) xI ( i ) ××= 1 1 6 6 log −= xp ( i ) −= log = .1 bit 710 11 36 2.13 某一无记忆信源的符号集为{0, 1}，已知 P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵； (2) 有 100 个符号构成的序列，求某一特定序列（例如有 m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。解： (1) XH ( ) −= ∑ i xp ( i log) xp ( i ) −= 1 4 ⎛ ⎜ ⎝ log 1 4 + 3 4 log 3 4 ⎞ =⎟ ⎠ .0 bit 811 / symbol (2) xp ( i ) − m ⎛= ⎜ ⎝ 1 4 m ⎛×⎟ ⎞ ⎜ ⎠ ⎝ 3 4 100 ⎞ ⎟ ⎠ xI ( i ) −= log xp ( i ) −= log = m − 3 100 4 100 3 100 4 100 − m = .15.41 + 585 bitm · 7 ·

(3) XH ( 100 ) = 100 XH ( ) = 100 × 811.0 = 1.81 bit / symbol 2.14 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：若把这些频度看作概率测度，求： (1) 忙闲的无条件熵； (2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。解： (1) 根据忙闲的频率，得到忙闲的概率分布如下： X XP ( ⎡ ⎢ ⎣ ⎤ =⎥ ⎦ ) XH ( ) −= x x ⎧ ⎫ 闲忙 ⎪ ⎪ 2 1 40 63 ⎨ ⎬ ⎪⎩ ⎪⎭ 103 103 2 ∑ xp ( log) xp ( i i ) i ⎛ −= ⎜ ⎝ 63 103 log 63 103 + 40 103 log 40 103 ⎞ =⎟ ⎠ bit 964.0 / symbol (2) 设忙闲为随机变量 X，天气状态为随机变量 Y，气温状态为随机变量 Z H XYZ log) −= ) ) ( zyxp ( j zyxp ( j k k i i j k / + log log + ⎛ −= ⎜ ⎝ ∑∑∑ i 12 12 103 103 8 8 103 103 symbol bit 836 .2 = ∑∑ YZH zyp log) ) ( −= j j 20 20 ⎛ −= ⎜ 103 103 ⎝ symbol bit 977 / .1 = YZXH H XYZ ) / ( ( = (3) YZXI ( XHXH 23 103 log + − = − ( ) ( ) ) ( ; k k · 8 · log 8 103 15 103 + log + 8 103 15 103 27 103 5 103 + + 27 103 5 103 16 103 12 103 + log log log 16 103 12 103 log ⎞ ⎟ ⎠ zyp ( j k ) log 23 103 + 32 103 log 32 103 + 28 103 log 28 103 ⎞ ⎟ ⎠ YZH ( 836.2) = − .1 977 = .0 bit 859 / symbol ) = 964.0 − 859.0 = bit 159.0 / symbol / YZ

资料库

信息论与编码_陈运主编_无水印完整版答案.pdf

相关推荐

课程资源

热门标签

最新资料