logo资料库

香农三大定理.ppt

第1页 / 共45页
第2页 / 共45页
第3页 / 共45页
第4页 / 共45页
第5页 / 共45页
第6页 / 共45页
第7页 / 共45页
第8页 / 共45页
资料共45页,剩余部分请下载后查看
信息论与编码基础 香农三大定理 简介 一、香农第一定理 二、香农第二定理 三、香农第三定理
信息论与编码基础 香农三大定理 简介 1、信源编码器 a、模型 : S s  { ,..., a 1 a }q 编码器 C c W W { ,...,  : }q 码字 1 { , W x x i i 1 2  i ..., x i }li 码长 : X x  { ,..., }r x 1 x 码符号 单符号信源无失真编码器
信息论与编码基础 香农三大定理 简介 1、信源编码器 a、模型 N S  1( S ,..., S N ) 1{ ,..., a a S  q i 1,2,..., N i  } { , W x x i i 2 1  i ..., x i }li 编码器 i  1,2,..., N q : X x  { ,..., }r x 1 x N次扩展信源无失真编码器
信息论与编码基础 香农三大定理 简介 1、信源编码器 b、举例 1)ASCII信源编码器 {英文字母/符号/命令} ASCII编码器 二进代码 码符号集{0,1}
信息论与编码基础 香农三大定理 简介 1、信源编码器 b、举例符号 b、举例 2)摩尔斯电码 2)摩尔斯信源编码器 1110 点 字母间隔 + — + + + — — — — 10 000 划 电平 二进代码 单词间隔 — — — — — — 000000 {A,B,…,Z} 信源编码器I 信源编码器II 二进符号 码符号集{点/划/字母间隔/单词间隔} 码符号集{0,1}
信息论与编码基础 香农三大定理 简介 1、信源编码器 b、举例 3)中文电报信源编码器 “中” “0022” “01101 01101 11001 11001”
信息论与编码基础 香农三大定理 简介 1、信源编码器 c、分类 等长码 中文电报 有失真编码 变长码 莫尔斯电码 无失真编码 I(S;C) < H(S) I(S;C) = H(S) 惟一可译码 非惟一可译码 若某一种码的任意一串有限长的符号序列只能 被惟一地译成所对应的信源符号。
分享到:
收藏