信息论-基础理论与应用课后答案-全.pdf-资料库

0f4f854b-6cb1-4c1f-9b9f-2aff2a4355fd.pdf-第1页.png

第1页 / 共108页

0f4f854b-6cb1-4c1f-9b9f-2aff2a4355fd.pdf-第2页.png

第2页 / 共108页

0f4f854b-6cb1-4c1f-9b9f-2aff2a4355fd.pdf-第3页.png

第3页 / 共108页

0f4f854b-6cb1-4c1f-9b9f-2aff2a4355fd.pdf-第4页.png

第4页 / 共108页

0f4f854b-6cb1-4c1f-9b9f-2aff2a4355fd.pdf-第5页.png

第5页 / 共108页

0f4f854b-6cb1-4c1f-9b9f-2aff2a4355fd.pdf-第6页.png

第6页 / 共108页

0f4f854b-6cb1-4c1f-9b9f-2aff2a4355fd.pdf-第7页.png

第7页 / 共108页

0f4f854b-6cb1-4c1f-9b9f-2aff2a4355fd.pdf-第8页.png

第8页 / 共108页

第二章课后习题【2.1】设有 12 枚同值硬币，其中有一枚为假币。但只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看， “12 枚硬币中，某一枚为假币”该事件发生的概率为 P = ； “假币的重量比真的轻，或重”该事件发生的概率为 P = ；为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有 I = log12 + log2 = log24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P = ，因此天平每一次消除的不确定性为 I = log3 比特因此，必须称的次数为 3 次。 I1 log24 = ≈ 2.9 次 I 2 log3 因此，至少需称【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？解： “两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，因此该种情况发生的概率为 P = × = ，该事件的信息量为：

I = log36 ≈ 5.17 比特 “两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和 2，概率为 P = × ×5 = ，因此该事件的信息量为： I 比特 “两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为 P = × ×2 = ，因此该事件的信息量为： I = log18 ≈ 4.17 比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为 P = ，因此此时从答案中获得的信息量为 I = log7 = 2.807 比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得的信息量为 0 比特。【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息，问获得多少信息量？解：设 A 表示女孩是大学生， P(A) = 0.25；

B 表示女孩身高 1.6 米以上， P(B | A) = 0.75，P(B) = 0.5 “身高 1.6 米以上的某女孩是大学生”的发生概率为 P(A| B) = P(AB) = P(A)P(B | A) = 0.25×0.75 = 0.375 P(B) P(B) 0.5 已知该事件所能获得的信息量为 I 比特 X a1 = 0 a2 =1 a3 = 2 a4 = 3 【2.5】设离散无记忆信源 P(x) = 3/8 1/ 4 1/41/8 ，其发出的消息为（202120130213001203210110321010021032011223210），求（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为： I(a0 = 0) = log =1.415 比特 I(a1 =1) = log 4 = 2 比特 I(a2 = 2) = log4 = 2 比特 I(a3 = 3) = log8 = 3 比特在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3” 符号，则得到消息的自信息为： I =14×1.415+13×2 +12×2 + 6×3 ≈ 87.81 比特

45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 I = =1.95 比特/符号信息量，后者是信息熵，可计算得【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格 H(X) = −∑P(x)log P(x) =1.91 比特/符号内，且它们的坐标分别为（XA,YA）和（XB,YB），但 A 和 B 不能落入同一方格内。（1）若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？（2）若已知 A 已落入，求 B 落入的平均自信息量。（3）若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。解：（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一格的概率空间为： = XP 48a11 48a12 48a13 a48148 平均自信息量为 H(A) = log48 = 5.58 比特/符号（2）已知质点 A 已落入，求 B 落入的平均自信息量，即求 H(B | A)。 A 已落入，B 落入的格可能有 47 个，条件概率 P(bj | ai ) 均为。平均自信息量为 H(B | A) = −∑∑48 47 P(ai )P(bj | ai )log P(bj | ai ) = log47 = 5.55 比特/符号 i=1 j=1

（3）质点 A 和 B 同时落入的平均自信息量为 H(AB) = H(A) + H(B | A) =11.13 比特/符号【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是 “否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：男同志红绿色盲的概率空间为： X a1 a2 P = 0.070.93 问男同志回答“是”所获昨的信息量为： I 比特/符号问男同志回答“否”所获得的信息量为： I 比特/符号男同志平均每个回答中含有的信息量为 H(X) = −∑P(x)log P(x) = 0.366 比特/符号同样，女同志红绿色盲的概率空间为 Y b1 b2 P = 0.005 0.995 问女同志回答“是”所获昨的信息量为： I 比特/符号问女同志回答“否”所获昨的信息量为：

I 比特/符号女同志平均每个回答中含有的信息量为 H(Y) = −∑P(x)log P(x) = 0.045 比特/符号【2.8】设信源 X a1 a2 a3 a4 a5 a6 P(x) = 0.2 0.19 0.18 0.17 0.16 0.17 ，求此信源的熵，并解释为什么 H(X) > log6 ，不满足信源熵的极值性。解： H(X) = −∑P(x)log P(x) = 2.65 > log6 原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。【2.9】设离散无记忆信源 S 其符号集 A ={a1,a2 ,...,aq} ，知其相应的概率分别为 (P1,P2 ,...,Pq ) 。设另一离散无记忆信源 S′ ，其符号集为 S 信源符号集的两倍， A′ ={ai ,i =1,2,...,2q}，并且各符号的概率分布满足 Pi′= (1−e)Pi i =1,2,...,q Pi′= ePi i = q +1,q + 2,...,2q 试写出信源 S′的信息熵与信源 S 的信息熵的关系。解： H(S′) = −∑P(x)log P(x) = −∑(1−e)Pi log(1−e)Pi − ∑ePi logePi = −(1−e)∑Pi log(1−e) − (1−e)∑Pi log Pi −e∑Pi loge −e∑Pi log Pi = −(1−e)log(1− e) −e loge + H(S) = H(S) + H(e,1−e)

【2.10】设有一概率空间，其概率分布为{p1, p2 ,..., pq}，并有 p1 > p2 。若取 p1′ = p1 −e ， p′2 = p2 + e ，其中 0 < 2e ≤ p1 − p2 ，而其他概率值不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义加以解释。解：设新的信源为 X′，新信源的熵为： H(X ′) = −∑ pi log pi = −(p1 −e)log(p1 −e) − (p2 + e)log(p2 +e) −− pq log pq 原信源的熵因此有， H(X) = −∑ pi log pi = −p1 log p1 − p2 log p2 −− pq log pq H(X) − H(X ′) = (p1 −e)log(p1 −e) + (p2 + e)log(p2 + e) − p1 log p1 − p2 log p2 (x) = (p1 − x)log(p1 − x) + (p2 + x)log(p2 + x) ， x∈ 0, 2 ，则 p1 − p2 令 f f ′(x) = log p2 + x ≤ 0 p1 − x 即函数 f (x) 为减函数，因此有 f (0) ≥ f (e)，即 (p1 −e)log(p1 −e) + (p2 + e)log(p2 + e) ≤ p1 log p1 + p2 log p2 因此 H(X) ≤ H(X ′)成立。【解释】当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。【2.11】试证明：若∑L pi =1，∑m q j = pL ，则

i=1 j=1 H(p1, p2 ,, pL−1,q1,q2 ,,qm ) = H(p1, p2 ,, pL−1, pL ) + pL H( q1 , q2 ,, qm ) pL pL pL 并说明等式的物理意义。解： H(p1, p2 ,, pL−1,q1,q2 ,,qm ) = −p1 log p1 − p2 log p2 −− pL−1 log pL−1 − q1 log q1 − q2 logq2 −− qm logqm = −p1 log p1 − p2 log p2 −− pL−1 log pL−1 − pL log pL + pL log pL − q1 logq1 − q2 logq2 −− qm logqm = −p1 log p1 − p2 log p2 −− pL−1 log pL−1 − pL log pL + (q1 + q2 + q3 ++ qm )log pL − q1 logq1 − q2 logq2 −− qm logqm = −p1 log p1 − p2 log p2 −− pL−1 log pL−1 − pL log pL − q1 log q1 − q2 log q2 −− qm log qm pL pL pL = −p1 log p1 − p2 log p2 −− pL−1 log pL−1 − pL log pL + pL (− q1 log q1 − q2 log q2 −− qm log qm ) pL pL pL pL pL pL = H(p1, p2 ,, pL−1, pL ) + pL H m ( q1 , q2 ,, qm ) pL pL pL 【意义】将原信源中某一信源符号进行分割，而分割后的符号概率之和等于被分割的原符号的概率，则新信源的信息熵增加，熵所增加的一项就是由于分割而产生的不确定性量。【2.12】（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用 5×105 个像素和 10 个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送 30 帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。

资料库

信息论-基础理论与应用课后答案-全.pdf

相关推荐

考试认证

热门标签

最新资料