信息论与编码基础
香农三大定理
简介
一、香农第一定理
二、香农第二定理
三、香农第三定理
信息论与编码基础
香农三大定理
简介
1、信源编码器
a、模型
:
S s
{ ,...,
a
1
a
}q
编码器
C c W W
{ ,...,
:
}q
码字
1
{ ,
W x x
i
i
1
2
i
...,
x
i
}li
码长
:
X x
{ ,..., }r
x
1
x
码符号
单符号信源无失真编码器
信息论与编码基础
香农三大定理
简介
1、信源编码器
a、模型
N
S
1(
S
,...,
S
N
)
1{ ,...,
a
a
S
q
i
1,2,...,
N
i
}
{ ,
W x x
i
i
2
1
i
...,
x
i
}li
编码器
i
1,2,..., N
q
:
X x
{ ,..., }r
x
1
x
N次扩展信源无失真编码器
信息论与编码基础
香农三大定理
简介
1、信源编码器
b、举例
1)ASCII信源编码器
{英文字母/符号/命令}
ASCII编码器
二进代码
码符号集{0,1}
信息论与编码基础
香农三大定理
简介
1、信源编码器
b、举例符号
b、举例
2)摩尔斯电码
2)摩尔斯信源编码器
1110
点
字母间隔
+ — + + + — — — —
10
000
划
电平
二进代码
单词间隔
— — — — — —
000000
{A,B,…,Z}
信源编码器I
信源编码器II
二进符号
码符号集{点/划/字母间隔/单词间隔}
码符号集{0,1}
信息论与编码基础
香农三大定理
简介
1、信源编码器
b、举例
3)中文电报信源编码器
“中”
“0022”
“01101 01101 11001 11001”
信息论与编码基础
香农三大定理
简介
1、信源编码器
c、分类
等长码
中文电报
有失真编码
变长码
莫尔斯电码
无失真编码
I(S;C) < H(S)
I(S;C) = H(S)
惟一可译码
非惟一可译码
若某一种码的任意一串有限长的符号序列只能
被惟一地译成所对应的信源符号。