当前位置:首页 >> 理学 >> Information Theory & Coding信息论与编码(英文版)Ch2例题与证明三

Information Theory & Coding信息论与编码(英文版)Ch2例题与证明三


? 离散平稳无记忆信源 X 的 N 次扩展信源的熵为离散
N 信源 X 的熵的 N 倍。 H ( X ) ? NH ( X )

证明:
H ( X N ) ? ?? P( X ) log2 P( X ) ? ?? p(?i ) log2 p(?i )
XN XN

可以等 ? 求和是对信源 X 中所有 n 个元素求和, 效成 N 个求和,而其中的每一个又是对 X 中的 n 个 元素求和,所以有:

N

N

? p(a ) ? ??? ? p( x
i XN i1 ?1 i2 ?1 n i N ?1 n i1 ?1 i2 ?1

n

n

n

i1

) p ( x i2 ) ? p ( x i N )
n

? ? p( xi1 )? p( xi2 ) ?? p( xiN ) ? 1
i N ?1


H ( X N ) ? ?? p(? i ) log2 p( xi1 ) p( xi2 ) ? p( xiN ) ? ?? p(? i ) log2 p( xi1 ) ? ? p(? i ) log2 p( xi2 ) ? ? ? p(? i ) log2 p( xiN )
XN XN XN XN

共有 N 项,考察其中第一项
? ? p (? i ) log2 p ( xi1 ) ? ?? p ( xi1 ) p ( xi2 ) ? p ( xiN ) log2 p ( xi1 )
XN XN n

? ?? p ( xi1 ) log2 p ( xi1 )? p ( xi2 ) ? ? p ( xiN )
i1 ?1 i2 ?1 iN ?1

n

n

因为 ? p( xi ) ? 1
ik ?1
k

n

k ? 1,2,? N

所以 ? ? p(? i ) log2 p( xi ) ? ?? p( xi ) log2 p( xi ) ? H ( X )
XN
1

n

i1 ?1

1

1

同理其余各项均等于 H(X)
N 故有: H ( X ) ? NH ( X )

[例 2.2.1]有一离散平稳无记忆信源
?x , x , x ? ?X ? ? 1 2 3? ? P( X )? ? ? 1 1 1 ? ? ? ? , , ? ?2 4 4 ?

? p( x ) ? 1,求此信源的二次扩展
i ?1 i

3

信源的熵。 先求出此离散平稳无记忆信源的二次扩展信源。 扩 展信源的每个元素是信源 X 的输出长度为 2 的消息序 列。由于扩展信源是无记忆的,故

p(ai ) ? p( xi1 ) p( xi2 )
X 2 信源的元素

(i1 , i2 ? 1,2,3; i ? 1,2,?,9)
a3

a1
x1 x1
1 4

a2
x1 x2
1 8

a4
x2 x1
1 8

a5
x2 x2
1 16

a6 x2 x3
1 16

a7

a8 x3 x2
1 16

a9 x3 x3
1 16

对应的消息序列

x1 x3
1 8

x3 x1
1 8

概率 p(ai )

根据熵的定义,二次扩展信源的熵为

H ( X N ) ? 3(比特/ 符号) ? 2H ( X )
结论:计算扩展信源的熵时,不必构造新的信源, 可直接从原信源 X 的熵导出。即离散平稳无记忆信 源 X 的 N 次扩展信源的熵为离散信源 X 的熵的 N 倍。

思考如何从熵的可加性来理解此结论??? ? 思考证明二维离散有记忆信源的熵不大于二维平 稳无记忆信源的熵?

H ( X1 X 2 ) ? H ( X1 ) ? H ( X 2 )
[例 2.2.2]设某二维离散信源 X= X 1 X 2 的原始信源 X 的
?x ?X ? ? 1 信源模型为 ? ? ? ?1 ? P( X )? ? ?4 x2 4 9 x3 ? ? X= X 1 X 2 中前后两个符号 11? , ? 36?

的条件概率为
X2 P( X 2 / X 1 )
X1

x1

x2

x3

x1 x2 x3

7/9 1/8 0

2/9 3/4 2/11

0 1/8 9/11

原始信源的熵为:

H ( X ) ? ?? p( xi ) log 2 p( xi ) ? 1.542(bit / symbol )
i ?1

3

由条件概率确定的条件熵为:
H ( X 2 / X 1 ) ? ??? p( xi ) p( xi / xi ) log 2 p( xi / xi ) ? 0.870(bit / symbol )
i1 ?1 i2 ?1
1 2 1 2 1

3

3

条件熵比信源熵 (无条件熵) 减少了 0.672bit/symbol,

正是由于符号之间的依赖性所造成的。信源 X= X 1 X 2 平 均每发一个消息所能提供的信息量,即联合熵

H ( X1 X 2 ) ? H ( X 1 ) ? H ( X 2 / X 1 ) ? 2.412(bit / symbol)
则每一个信源符号所提供的平均信息量

1 1 H 2 ( X ) ? H ( X ) ? H ( X 1 X 2 ) ? 1.206(bit / symbol ) 2 2 小于信源 X 所提供的平均信息量 H(X), 这同样是由于
符号之间的统计相关性所引起的。 ? 将二维离散平稳有记忆信源推广到 N 维情况,可证
H ( X ) ? H ( X1 X 2 ? X N ) ? H ( X1 ) ? H ( X 2 / X1 ) ? H ( X 3 / X1 X 2 ) ? ? ? H ( X N / X1 X 2 ? X N ?1 )

证明:
H ( X ) ? H ( X1 X 2 ? X N ) 令Y1 ? X 1 X 2 ? X N ?1 ,Y2 ? X 1 X 2 ? X N ?2 ,YN ?2 ? X 1 X 2


H ( X ) ? H (Y1 X N ) ? H (Y1 ) ? H ( X N / Y1 ) ? H ( X 1 X 2 ? X N ?1 ) ? H ( X N / X 1 X 2 ? X N ?1 ) ? H (Y2 ) ? H ( X N ?1 / Y2 ) ? H ( X N / X 1 X 2 ? X N ?1 )
? ? H (YN ?2 ) ? H ( X 3 / YN ?2 ) ? ? ? H ( X N / X 1 X 2 ? X N ?1 ) ? H ( X 1 X 2 ) ? H ( X 3 / X 1 X 2 ) ? ? ? H ( X N / X 1 X 2 ? X N ?1 ) ? H ( X 1 ) ? H ( X 2 / X 1 ) ? H ( X 3 / X 1 X 2 ) ? ? ? H ( X N / X 1 X 2 ? X N ?1 )

表明: 多符号离散平稳有记忆信源 X 的熵 H(X)是 X 中

起始时刻随机变量 X1 的熵与各阶条件熵之和。 思考:证明结论???

H ( X N / X1 X 2 ?X N ?1 ) ? H ( X N ?1 / X1 X 2 ?X N ?2 ) ? ? ? H ( X 2 X1 ) ? H ( X1 )
总结:多符号离散平稳信源实际上就是原始信源在 不断地发出符号,符号之间的统计关联关系也并不限 于长度 N 之内,而是伸向无穷远。所以要研究实际信 源,必须求出信源的极限熵,才能确切地表达多符号 离散平稳有记忆信源平均每发一个符号提供的信息 量。问题的关键在于极限熵是否存在?当离散有记忆 信源是平稳信源时,从数学上可以证明,极限熵是存 在 的 , 且 等 于 关 联 长 度 N ?? 时 , 条 件 熵

H ( X N / X1 X 2 ? X N ?1 ) 的极限值。

H ? ? lim H N ( X ) ? lim H ( X N / X 1 X 2 ? X N ?1 )
N ?? N ??

极限熵代表了一般离散平稳有记忆信源平均每发一 个符号提供的信息。 ? 马尔可夫信源 在许多信源的输出序列中,符号之间的依赖关系 是有限的。也就是说,任何时刻信源符号发生的概率 只与前面已经发出的若干个符号有关,而与更前面发 出的符号无关。这类信源输出符号时不仅与符号集有 关,还与信源的状态有关。设一般信源所处的状态

S ?{e1 , e2 ,?, eJ } ,在每一状态下可能输出的符号

X ?{x1 , x2 ,?, xn } 。并认为每一时刻信源发出一个符号
后,所处的状态将发生转移。信源输出的随机符号序 列为 X 1 , X 2 ,?, X l ?1 , X l , ? 信源所处的随机状态序列 为 S1 , S2 ,?, Sl ?1 , Sl , ?在第 l 时刻,信源处于状态 e i 时,输 出符号 xk 的概率给定为 pl ( xk / ei ) ? P( X l ? xk / Sl ? ei ) 。另假设 信源在 (l ? 1) 时刻处于 e i 状态,下一时刻转移到 e j 的状 态转移概率为 pl (e j / ei ) ? P(Sl
? e j / Sl ?1 ? ei )

?(1)

可见,信源的随机状态序列服从马尔科夫链。式 (1)的条件概率称为马氏链在时刻 l 的状态一步转移概 率,一般情况下,状态转移概率和已知状态下符号发 生的概率均与时刻 l 有关。若这些概率与时刻 l 无关, 即满足

pl ( xk / ei ) ? p ( xk / ei )
pl (e j / ei ) ? p (e j / ei )
则称为时齐的或齐次的。此时的信源状态序列服从时 齐马尔可夫链。 若信源输出的符号和所处的状态满足下列条件, 则称为马尔可夫信源: (1)某一时刻信源符号的输出只与此刻信源所处的 状态有关,与以前的状态和以前的输出符号都无关。 即

P( X l ? xk / Sl ? ei , X l ?1 ? xK1 , Sl ?1 ? e j ,?) ? pl ( xk / ei ) ?(2)

当具有时齐性,有

pl ( xk / ei ) ? p ( xk / ei ) ?(3)
(2)信源某 l 时刻所处的状态由当前的输出符号和前 一时刻 (l ? 1) 信源的状态唯一确定。即
?0 P(S l ? e j / X l ? xm , S l ?1 ? ei ) ? ? ?(4) ?1

此条件表明,若信源处于某一状态 e i ,当它发出一个 符号后,所处的状态就变了。状态的转移依赖于发出 的信源符号,因此任何时刻信源处在什么状态完全由 前一时刻的状态和发出的符号决定。又因为条件概率
p ( xk / ei ) 已给定,所以状态的转移满足一定的概率分

布,并可求出状态的一步转移概率 p (e j / ei ) 。 这种信源的状态序列在数学上可以作为时齐马尔 可夫链来处理。故可用马尔可夫链的状态转移图来描 述信源。在状态转移图上,每个圆圈代表一种状态, 状态之间的有向线代表某一状态向另一状态的转移。 有向线一侧的符号和数字分别代表发出的符号和条件 概率 p ( xk / ei ) 。 [例 2.2.3]设信源符号 X ?{x1 , x2 , x3},信源所处的状态
S ?{e1 , e2 , e3 , e4 , e5 } 。各状态之间的转移情况由下图给出。

x2 ?

1 2

x3 ?

1 2 x3 ? 1 4

x1 ?

1 2
1

x2 ?

1 4

e

2

x2 ?

e

3 4 1 x2 ? 4

e

3

x1 ?

1 4

x3 ?

1 4

e

4

x1 ? 1

e

5

x3 ?

1 2

将图中信源在 e i 状态下发符号 xk 的条件概率
p ( xk / ei ) 用矩阵表示为
x1
?1 ?2 ? ?0 ? ?0 ? ?1 ?1 ? ?4
3

x2
1 4 1 2 3 4 0 1 4

x3
1? 4? 1? ? 2? 1? 4? 0? 1? ? 2?

由矩阵可明显看出, ? p( xk / ei ) ? 1, i ? 1,2,3,4,5 。另从图
k ?1

中还可得

? P( Sl ? P( S l ? ? ? P( Sl ? P( S l ? ? ?

? e2 / X l ? x1 , S l ?1 ? e1 ) ? 0 ? e1 / X l ? x1 , S l ?1 ? e1 ) ? 1 ? e2 / X l ? x2 , S l ?1 ? e1 ) ? 1 ? e1 / X l ? x2 , S l ?1 ? e1 ) ? 0 ?

所以信源满足式(4) 由图还可得状态的进一步转移概率
e1
?1 ?2 ? ?0 ? ?0 ? ?0 ? ?0 ?

e2
1 4 1 2 3 4 0 0

e3
0 1 2 1 4 0 0

e4
1 4 0 0 0 3 4

e5
? 0? ? 0? ? 0? ? 0? 1? ? 4?

该信源满足式(2)-(4), 所以是马尔可夫信源, 并且是 时齐的马尔可夫信源。 一般有记忆信源发出的是有关联性的各符号构成 的整体消息,即发出的是符号序列 ,并用符号间的联合 概率描述这种关联性。马尔可夫信源的不同之处在于 它用符号之间的转移概率 ( 条件概率 ) 来描述这种关 系。换句话说, 马尔可夫信源是以转移概率发出每个 信源信号。转移概率的大小取决于它与前面符号之间 的关联性。对 m 阶有记忆离散信源,它在任何时刻 l ,

符号发出的概率只与前面 m 个符号有关, 我们把这 m 个符号看做信源在 l 时刻的状态。因为原始信源符号 集共有 n 个符号,则有记忆信源可以有 n 个不同的状 态,分别对应于 n 个长度为 m 的序列。这时,信源输 出依赖长度为 m+1 的随机序列就转化为对应的状态 序列,而这种状态序列符合简单的马尔可夫链的性 质,可用马氏链来描述,称为 m 阶马尔可夫信源。其 数学模型为:
m m

x1 , x2 ?, xn X ? ? ? ? ? P( X / X ? X )? ? ? p( x / x x ? x )? km ? m?1 1 m ? ? ? km?1 k1 k2
并满足

km ?1 ?1

? p( x

n

km ?1

/ xk1 xk2 ? xkm ) ? 1; k1 , k 2 ,?k m?1 ? 1,2,?, n …(5)

当 m=1 时, 任何时刻信源符号发生的概率只与前面一 个符号有关,称为一阶马尔可夫信源。 由 m 阶马尔可夫信源的定义,并考虑其平稳性, 可得

p( xk / xk xk ? xk xk ? xk ) ? p( xk / xk xk
N 1 2 m m ?1 N ?1 N N ?m

N ? m ?1

? xk )
N ?1

? p( xkm?1 / xk1 xk2 ? xkm )

… (6)

由极限熵的定义可得 m 阶马尔可夫信源的熵

H ? ? lim H ( X N / X 1 ? X N ?1 )
N ??
n ? n ? ? lim ?? ?? ? p( x k1 ? x k N ) l o 2gp( x k N / x k1 ? x k N ?1 )? N ?? ? k1 ?1 k N ?1 ?
n ? n ? ? lim ?? ?? ? p( x k1 ? x k N ) l o 2gp( x km ?1 / x k1 ? x km )? N ?? ? k1 ?1 k N ?1 ?
n ? n ? ? ?? ?? ? p ( xk ? xk ) log 2 p ( xk / xk ? xkm )? ? k ?1 k ?1 ?
1 m ?1 N 1 1 m ?1

? H ( X m?1 / X1 X 2 ? X m )
件熵,记为 H m?1 。

?(7)

这表明 m 阶马尔可夫信源的极限熵 H ? 就等于 m 阶条 另一方面,式( 7 )中的 ( xk xk ?xk ) 可表示为状态
1 2 m

ei (i ? 1,2,?nm ) 。 信源处于状态 e i 时, 再发下一个符号 xkm?1
(或写成 xk ) ,则信源从状态 e i 转移到状态 e j ,即
( xk2 xk3 ? xkm xkm?1 ) 。所以
p( xkm?1 / xk1 xk2 ? xkm ) ? p( xk / ei ) ? p(e j / ei )

这样,式(7)又可表示为
H ? ? H m?1 ? ??? p(ei ) p(e j / ei ) log2 p(e j / ei )
i ?1 j ?1 nm nm

… (8)

其中, p(ei )(i ? 1,2,?, n ) 是 m 阶马尔可夫信源稳定后的 状态极限概率, p(e j / ei ) 是状态一步转移概率。
m

在以上的分析中我们看到, 正是利用了 m 阶马尔 可夫信源“有限记忆长度”这一根本特性,才能使式 (7)中的无限大参数 N 变为有限值 m,把求极限熵 的问题变成了一个求 m 阶条件熵的问题。 在式(8)中,状态一步转移概率 p(e j / ei ) 是给定 或测定的。那么,求解条件熵 H m?1 的关键就是要得到
p(ei )(i ? 1,2,?, nm ) 。 p(ei ) 是马尔可夫信源稳定后 ( N ? ?) 各

状态的极限概率。 定理:对于有限齐次马尔可夫链,若存在一个正 整数 l0 ? 1 ,对一切 i, j ? 1,2,?, n m ,都有

pl0 (e j / ei ) ? 0
则对每一个 j 都存在不依赖于 i 的极限

lim pl (e j / ei ) ? p(e j ) ( j ? 1,2,?, nm )
l ??
nm

…(9)

称这种马尔可夫链是各态历经的。其极限概率是方程 组
p(e j ) ? ? p(ei ) p(e j / ei )
i ?1

( j ? 1,2,?, n m )

…(10)

满足条件
p(e j ) ? 0, ? p(e j ) ? 1
j ?1 nm

…(11)

的唯一解。这就是有限齐次马尔可夫链的各态历经定 理。凡具有各态历经性的 m 阶马尔可夫信源,其状态 极限概率 p(ei ) 就可求出, 从而就可求得 m 阶马尔可夫

信源的熵 H m?1 。 [例 2.2.4]某二元 2 阶马尔可夫信源,原始信源 X 的符 号集为 ?X
1

? 0, X 2 ? 1?,其状态空间共有 n m ? 2 2 ? 4 个不同的

状态 e1 , e2 , e3 , e4 ,即 E : {e1 ? 00, e2 ? 01, e3 ? 10, e4 ? 11} ,其状态 转移概率图如下,

0.8

00
0.2 0.5 0.5

01
0.5 0.5

10 11
0.8 0.2

由上图可知, 当信源处于状态 00 ? e1 时,其后发生符号 0 的概率是 0.8,即 p(0 | 00) ? p( x1 | e1 ) ? 0.8 , 状态仍停留在 e1 ,即
p(e1 | e1 ) ? p( x1 | e1 ) ? 0.8 。当信源仍处于状态 e1 ,而发出的符

号 为 1 时 , 状 态 转 移 至 01 ? e2 , 故 一 步 转 移 概 率
p(1 | 00) ? p( x2 | e1 ) ? p(e2 | e1 ) ? 0.2 。当信源处于状态 e2 ? 01时,其

一 步 转 移 概 率 为 p(0 | 01) ? p( x1 | e2 ) ? p(e3 | e2 ) ? 0.5 ,
p(1 | 01) ? p( x2 | e2 ) ? p(e4 | e2 ) ? 0.5 。

同理,当信源处于状态 e3 ? 10时,
p(0 | 10) ? p( x1 | e3 ) ? p(e1 | e3 ) ? 0.5 p(1 | 10) ? p( x2 | e3 ) ? p(e2 | e3 ) ? 0.5

当信源处于状态 e4 ? 11
p(0 | 11) ? p( x1 | e4 ) ? p(e3 | e4 ) ? 0.2
p(1 | 11) ? p( x2 | e4 ) ? p(e4 | e4 ) ? 0.8

这样,由二元信源 X ? {0,1} 得到的状态空间 ?e1 , e2 , e3, e4 ? 和相应的一步转移概率构成的 2 阶马尔可夫信源模型 为

?e1 e2 e3 e4 ? ? ? p ( e / e ) j i ? ?


i, j ? 1,2,3,4

? p (e
j ?1
4 i ?1

4

j

/ ei ) ? 1

,

p(ei ) ? 0
j ? 1,2,3,4

由 p(e j ) ? ? p(ei ) p(e j / ei )

可求出稳定状态下的 p(e j ) ,称为状态极限概率。 将一步转移概率代入上式得:

p (e1 ) ? 0.8 p (e1 ) ? 0.5 p (e3 ) p (e2 ) ? 0.2 p (e1 ) ? 0.5 p (e3 ) p (e3 ) ? 0.5 p (e2 ) ? 0.2 p (e4 ) p (e4 ) ? 0.5 p (e2 ) ? 0.8 p (e4 )
解此方程组得
5 14 2 p ( e 2 ) ? p ( e3 ) ? 14 p (e1 ) ? p (e4 ) ?

计算极限熵
H ? ? H 2?1 ? ??? p(ei ) p(e j / ei ) log p(e j / ei ) ? 0.8(bit / sym bol )
i ?1 j ?1 4 4

需要注意的是 H ? 并非在任何情况下都存在。 首先 应记住的是:我们讨论的是平稳信源。其次,对 n 元 m 阶马尔可夫信源来说,只有极限概率

p(e j ), j ? 1,2,?, nm 都存在时,方能计算出 H ? 。从理论上
可以证明, 如果 m 阶马尔可夫信源稳定后具有各态历 经性,则状态极限概率 p(e j ) 可根据式(10)求出。 必须强调的是,m 阶马尔可夫信源和消息长度为 m 的有记忆信源,其所含符号的依赖关系不同,对相 应关系的数学描述不同,平均信息量的计算公式也不

同。m 阶马尔可夫信源的记忆长度虽为有限值 m,但 符号之间的依赖关系延伸到无穷,通常用状态转移概 率(条件概率)来描述这种依赖关系。可理解为马尔 可夫信源以转移概率发出每个信源符号,所以平均每 发一个符号提供的信息量应是极限熵 H m?1 。 而对于长度 为 m 的有记忆信息源 X, 发出的则是一组组符号序列, 每 m 个符号构成一个符号序列组,代表一个消息。组 与组之间是相互统计独立的,因此符号之间的相互依 赖关系仅限于符号之间的 m 个符号, 一般用这 m 个符 号的联合概率来描述符号间的依赖关系。对于这种有 记忆信源,平均每发一个符号, (不是一个消息)提供 的信息量, 是 m 个符号的联合熵的 m 分之一, 即平均 符号熵

Hm (X ) ?

1 H (X1 X 2 ? X m ) m

? 冗余度 它表征信源信息率的多余程度,是描述信源客观 统计特性的一个物理量。 由广义 Shannon 不等式有:
log n ? H 0 (U ) ? H1 (U ) ? H (U 2 / U1 ) ? ... ? lim H (U L / U1L?1 ) ? H ? (U ) ? 0
L??

可见对于有记忆信源,最小单个消息熵应为 H 从理论上看,对有记忆信源只需传送 H
?

?

(U ) ,即

(U ) 即可。

但是这必需要掌握信源全部概率统计特性。这显然是 不现实的。实际上,往往只能掌握有限的 L 维,这时 只需传送 H 了H
L L

(U ) ,那么与理论值 H ? (U ) 相比,就多传送

(U ) ? H ? (U ) 。

为了定量描述信源有效性,可定义: 信源效率:??H 信源冗余度: (相对剩余) 正由于信源存在着冗余度,即存在着不必要传送的信 息,因此信源也就存在进一步压缩信息率的可能性。 冗余度越大, 压缩潜力也就越大。 可见它是信源编码, 数据压缩的前提与理论基础。 下面,以英文为例,计算文字信源的冗余度: 首先给出英文字母(含空档)出现概率如下:
?

/ H0

信源熵的相对率
H0 ? H? H0

R ? 1?? ? 1? H? / H0 ?

字母 空档 E T O A N I R

Pi

字母 S H D L C F.U M P

Pi

字母 Y.W G B V K X J.Q Z
0

Pi

0.2 0.105 0.072 0.0654 0.063 0.059 0.055 0.054

0.0502 0.047 0.035 0.029 0.023 0.0225 0.021 0.0175

0.012 0.011 0.0105 0.008 0.003 0.002 0.001 0.001

下面,首先求得独立等概率情况 H ,即

H 0? log2 27 ? 4.76b i , t
其次,计算独立不等概率情况 H ,
1

H1 ? ?? pi log pi ? 4.03b i , t
i ?1

27

再次,若仅考虑字母有一维相关性,求 H ,
2

H 2 ? 3.32b i, t
还可进一步求出: H 2 ? 3.1bit , 最后, 利用统计推断方法求出 H ? , 由于采用的逼近的 方法和所取的样本的不同,推算值也有不同,这里采 用 Shannon 的推断值。

H ? ? 1.4bit

这样,可以计算出? ? 0.29 分。

, R ? 0.71 。

这一结论说明,英文信源,从理论上看 71%是多余成 直观地说 100 页英文书,理论上看仅有 29 页是有 效的, 其余 71 页是多余的。 正是由于这一多余量的存 在,才有可能对英文信源进行压缩编码。 对于其它文字,也有不少人作了大量的统计工作, 现简述如下:
H0 H1
4.03

H2
3.32

H3
3.1

...

H?
1.4 3 1.08 1.97

?
0.29 0.63 0.23 0.42 0.3 1 5

R
0.71 0.37 0.77 0.58 0.6 8 5

英文 4.7 法文 4.7 德文 4.7 西班牙文 4.7 中文
? 13

9.41

8.1

7.7

4.1

(按 8 千汉字计算) 至于,其它类型信源,比如话音,图象等,它们大 部分属于限失真信源,其冗余度与理论压缩可能性, 将在第四章 R( D) 函数中讨论。


赞助商链接
更多相关文档:

Information theory(信息论与编码)

Information theory(信息论与编码) - Information theory & coding | Tailong Xiao 信息论与编码总结 1. 关于率失真函数的几点总结...

更多相关标签:
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com