当前位置:首页 >> 计算机软件及应用 >> Ch2例题与证明四

Ch2例题与证明四


? 连续信源的熵与互信息 在通信中模拟信号比如语音、图像未数 字化以前均属于连续信源。它在概念上与离 散信源是不同的,但也有不少类似之处。 对连续信源的分析,也可以类似于离散信源 从单个连续消息(变量)开始,在推广至连 续消息序列。对于连续随机变量可采用概率 密度来描述;对连续随机序列可采用相应的 序列概率密度来描述;而对于连续的随机过 程一般也可以按照取样定理分解为连续随 机变量序列来描述。 一〉 单个连续消息的随机变量信源 连续随机变量可以看作是离散随机变 量的极限,故可采用离散随机变量来逼近。 下面,将采用这一观点讨论连续信源的信息 熵与信息量。 首先类比概率 pi 与概率密度 p(u): 单变量连续信源的数学模型:
?R ? X :? ? p ( x ) ? ? 并满足? p( x)dx ? 1
R

p(u)
第i个区间

ui
a a+(i-1)△ a+i△ b

u

令 u∈[a,b] ,且 a<b,现将它均匀的划分为 n
b?a 份,每份宽度为△= n ,则

u 处于第 i

个区间的概率为 pi,则 pi=
a ? i△ ? a ? (i ? 1)△p(u)du ? p(ui) ?△

(中值定理)

即当 p(u)为 u 的连续函数时,由中值定理, 必存在一个 ui 值,使上式成立。 再按照离散信源的信息熵的定义有:
pi ? log pi Hn(u)=- ? i

p(ui) ? ? log[ p(ui) ? ?] =- ? i
p(ui) ? ?[log p(ui) ? log ?] =- ? i

n ??

lim Hn(U ) ? lim? ? p(ui)[log p(ui)] ? ? ? lim ? p(ui)[log?] ? ?
n ?? i n ?? i

(? p(ui ) ? ?) ? log ? = ? ? p(u) log p(u)du ? lim ? ?0 i
a

b

= ? ? p(u) log p(u)du ? ?
a

b

于是我们定义前一项取有限值的项为连 续信源的信息熵,并记为 Hc(U).
p (u ) log p (u ) du 即:Hc(U)= ? ? a
b

也可记为:Hc(U)= ? p (u ) log p (u )du
R1

其中 R = (??,??) 表示实轴。 注意:Hc(U)是连续信源的熵,而不是连续 信源输出的信息量,而连续信源输出的信息 量是 Hn(U).这就是说,在离散信源中信源输 出信息量就是信源熵,两者是一个概念;但 是在连续信源中则是两个概念,且不相等。 连续信源输出信息量 Hn(U)是一个绝对值, 它取值于∞,而连续信源的熵 Hc(U)则是一 个相对值,且取值是有限的。 连续信源的熵 Hc(U)是一个过渡性的概 念,它虽然也具有可加性,但不一定满足非

1

负性,它可以不具有信息的全部特征。 比如,对一个均匀分布的连续信源,按 照定义,有
Hc(U ) ? ??
b

1 1 log du b?a b?a a

? log(b ? a)

显然,当 b ? a ? 1时,Hc(U)<0, 这说明它不具备非负性。但是连续信源输出 的信息量由于有一个无限大量的存在, Hn(U) 仍大于0。这里,我们仍将 Hc(U)定义为连 续信源的熵,理由有二:一是由于它在形式 上于离散熵相似:
pi logpi 离散熵:H(U)= ? ? i

连续熵:Hc(U)= ? ? p(u ) log p(u )du
R'

pi ? p (u ), ? ? ? du
i R'

另一个更重要的原因是在于实际处理问题 时,比如互信息、信道容量、信息率失真函 数等可涉及到的仅是熵的差值,即互信息。 这时,只要相差的两个连续熵在逼近时可取 的 ? 是一致的,两个同样的无限大的尾巴就

可以互相抵消。可见,Hc(U)是具有相对性, 它是为了引入互信息等重要概念而引入的 一个过渡性的概念。 同理,还可进一步定义如下连续随机变量的 熵: 条件熵与联合熵:
Hc(V ) ? ? ? q(v) log q(v)dv
R'

Hc(V

) ? ? ?? p(u ) P( v ) log p( v )dudv U u u 2
R R

Hc(U ) ? ? ?? q(v)Q(u ) logQ(u )dudv V v v 2 Hc(U ,V ) ? ? ?? r (u, v) logr (u, v)dudv
R2

且有:Hc(U ,V ) ? Hc(U ) ? Hc(V U ) ? Hc(V ) ? H c (U V )

? 几种特殊连续信源的熵
1.均匀分布的连续信源的熵 一维连续随机变量 X 在[a,b]区间内均 匀分布时,已求得其熵为
H c ( X ) ? log2 (b ? a)

若 N 维矢量 X ? ( X X ? X ) 中各分量彼此统 计独立, 且分别在 [a1 , b1 ][a2 , b2 ]?[aN , bN ] 的区域内均 匀分布,即有
1 2 N

? 1 ? N ? (bi ? ai ) p( x) ? ? ? i ?1 ? 0 ? ?
H c ( X ) ? H c ( X1 X 2 ? X N )

x ? ? (bi ? ai )
i ?1 N

N

x ? ? (bi ? ai )
i ?1

可以证明,N 维均匀分布连续信源的熵为
bN b1

? ? ? ? ? p ( x) log 2 p ( x)dx1 ? dx N
aN a1

? ? ?? ?
aN

bN

b1

1

a1

? (b
i ?1

N

i

? ai )

log2

1

? (b
i ?1

N

i

? ai )

dx1 ? dxN

? log2

? (b
i ?1

N

i

? ai )

可见,N 维统计独立均匀分布连续信源的熵 是 N 维区域体积的对数,其大小仅与各维区 域的边界有关。这是信源熵总体特性的体 现,因为各维区域的边界决定了概率密度函 数的总体形状。 根据对数的性质, H c ( X ) 还可写成
H c ( X ) ? ? log2 (bi ? ai ) ? H c ( X 1 ) ?H c ( X 2 ) ? ? ? H c ( X N )
i ?1 N

说明连续随机矢量中各分量相互统计独立

时,其矢量熵就等于各单个随机变量的熵之 和。这与离散信源的情况类似。 2. 高斯分布的连续信源的熵 设一维随机变量 X 的取值范围是整个实 数轴 R,概率密度函数呈正态分布,即
p( x) ? 1 2?? 2 e
? ( x?m )2 2? 2

其中 m 是 X 的均值
?

m ? E[ X ] ?
? 2 是 X 的方差

??

? xp( x)dx
?

? ? E[( X ? m) ] ? ? ( x ? m) 2 p( x)dx
2 2 ??

当均值 m=0 时, X 的方差 ? 就是随机变量的 平均功率
2

P ? ? x 2 p( x)dx
??

?

由这样的随机变量 X 所代表的连续信源,称 为高斯分布的连续信源。 这个连续信源的熵为
H c ( X ) ? ?? p( x) log2 p( x)dx
?? ?

? ? ? p( x) log2
??

?

1 2?? 2

e
2

?

( x?m)2 2? 2

dx
?

? ?? p( x)(? log2
??

?

( x ? m) 2 2?? )dx ? ? p( x)(log2 e)[ ]dx ?? 2? 2

因为

log2 x ? log2 e ln x,
?

?

?

??

p( x)dx ? 1

( x ? m) 2 1 p ( x ) dx ? ??? 2 2? 2

所以

1 H c ( X ) ? log 2 2?? 2 ? log 2 e 2
? 1 log 2 2?e? 2 2

上式说明高斯连续信源的熵与数学期望 m 无 关,只与方差 ? 2 有关。 在介绍离散信源熵时我们就讲过,熵描 述的是信源的整体特性。由高斯函数的曲线 可见,当均值 m 发生变化时,只是 p(x)的对 称中心在横轴上发生平移,曲线的形状没有 任何变化。也就是说,数学期望 m 对高斯信 源的总体特性没有任何影响。但是,若 X 的 方差 ? 2 不同,曲线的形状随之改变。所以, 高斯连续信源的熵与方差有关而与数学期 望无关。这是信源熵的总体特性的再度体

现。 3. 指数分布连续信源的熵 若一随机变量 X 的取值区间是 ?0, ? ? , 其 概率密度函数为

1 ?m p ( x) ? e m

x

( x ? 0)

则称 X 代表的单变量连续信源为指数分布的 连续信源。其中常数 m 是随机变量 X 的数学 期望
E ( X ) ? m ? ? xp( x)dx ? ?
0 ? ? 0

1 ? x e m dx ? m m

x

指数分布的连续信源的熵为
H c ( X ) ? ?? p( x) log2 p( x)dx
0 ?

? ??

?

0

1 ? p( x) log2 e m dx m

x

由 有

log2 x ? log2 e ln x

H c ( X ) ? log2 m ? p( x)dx ?
0

?

log2 e ? xp( x)dx ? 0 m
? 0

? log2 me

其中

?

p( x)dx ? 1

上式说明,指数分布的连续信源的熵只取决

与均值。这一点很容易理解,因为指数分布 函数的均值,决定函数的总体特性。 ? 连续熵的性质 1.连续熵可为负值 2.可加性 连续信源也有与离散信源类似的可加 性。即 H c ( XY ) ? H c ( X ) ? H c (Y / X ) (1) H c ( XY ) ? H c (Y ) ? H c ( X / Y ) (2) 下面我们证明式(1)。
H c ( XY ) ? ? ?? p ( xy ) log 2 p ( xy ) dxdy
R2

? ? ?? p ( xy ) log 2 p ( x)dxdy ? ?? p ( xy ) log 2 p ( y / x)dxdy
R2 R2

? ?? log2 p( x)[? p( xy)dy]dx ? H c (Y / X )
R R

? H c ( X ) ? H c (Y / X )

其中, ? p( xy)dy ? p( x)
R

同理,可证明式(2)。 连续信源熵的可加性可以推广到 N 个变 量的情况。即
H c ( X 1 X 2 ? X N ) ? H ( X 1 ) ? H ( X 2 / X 1 ) ? H ( X 3 / X 1 X 2 ) ? ? ? H ( X N / X 1 X 2 ? X N ?1 )

3. 平均互信息的非负性 定义连续信源的无条件熵和条件熵之 差为连续信源的平均互信息。记为 I c ( X ; Y ) , 即有
I c ( X ;Y ) ? Hc ( X ) ? Hc ( X / Y ) I c (Y ; X ) ? H c (Y ) ? H c (Y / X )

连续信源的平均互信息仍保留了非负 性。即 IC ( X ;Y ) ? IC (Y ; X ) ? 0 证明条件熵小于等于无条件熵。即 Hc ( X / Y ) ? Hc ( X ) (3 ) H c (Y / X ) ? H c (Y ) (4) 现在我们证明式(3):
H c ( X / Y ) ? H c ( X ) ? ? ?? p( xy ) log 2 p( x / y )dxdy ? ? p( x) log 2 p( x)dx
R2 R

由 ? p( xy)dy ? p( x) 可得
R

H c ( X / Y ) ? H c ( X ) ? ? ?? p( xy) log2 p( x / y)dxdy ? ? p( xy) log2 p( x)dxdy
R2
R2

? ??? p( xy) log2
R2

p( x / y ) p( x) dxdy ??? p( xy) log2 dxdy p( x) p ( x / y ) 2 R

根据对数变换关系
log2 z ? log2 e ln z

和著名不等式
ln z ? z ? 1
z?0

并注意到
p( x) ? 0, p( x / y) ? 0

故有 令z ?

p ( x) ?0 p( x / y ) p( x) p( x / y )

,只要 p( x) 不恒为 0,则 z ? 0

? p( x) ? H c ( X / Y ) ? H c ( X ) ? ?? p( xy)? ? 1? dxdy ? p( x / y ) ? R2 ? p ( x) ? ? ?? p( y) p( x / y)? ? 1? dxdy ? p( x / y ) ? R2
? ? p( x)dx ? p( y )dy ? ?? p( xy )dxdy
R R R2

=1-1=0 即 其中
R

Hc ( X / Y ) ? Hc ( X )

? p( x)dx ? 1,? p( y )dy ? 1,?? p( xy )dxdy ? 1
R R2

由式(3)得
I C ( X ;Y ) ? 0

(5)

同理可得 (6) 容易证明,连续信源的平均互信息也满 足对称性。即 IC ( X ;Y ) ? IC (Y ; X ) (7) 另外,连续信源还满足数据处理定理。
I C (Y ; X ) ? 0

换句话说,把连续随机变量 Y 处理成另一随 机变量 Z 时,一般也会丢失信息。即 I C ( X ; Z ) ? I C ( X ;Y ) (8)

? 最大连续熵定理
(1)限峰值功率的最大熵定理 若代表信源的 N 维随机变量的取值被限制 在一定的范围之内,则在有限的定义域内, 均匀分布的连续信源具有最大熵。 设 N 维随机变量
X ? ? (ai , bi )
i ?1 N

bi ? ai

其均匀分布的概率密度函数为
? 1 ? N ? (bi ? ai ) p( x) ? ? ? i ?1 ? 0 ? ? x ? ? (bi ? ai )
i ?1 N N

x ? ? (bi ? ai )
i ?1

除均匀分布以外的其他任意概率密度函数 记为 q( x) , 并用 H c ? p( x), X ?和 H c ?q( x), X ? 分别表示均匀 分布和任意非均匀分布连续信源的熵。在
bN aN

??? p( x)dx dx ?dx
1 2 a1

b1

N

? ? ?? q( x)dx1dx 2 ? dx N ? 1
aN a1

bN

b1

的条件下有

H c ?q( x), X ? ? ? ? ?? q( x) log 2 q( x)dx1 ? dx N
aN a1

bN

b1

? 1 p ( x) ? ? ? ?? q ( x) log2 ? ? ? dx1 ? dxN q ( x ) p ( x ) ? ? aN a1 ? ? ? ?? q( x) log2 p( x)dx1 ? dxN ?
aN a1 bN bN b1

bN

b1

aN

? ?? q( x) log2
a1

b1

p ( x) dx1 ? dxN q ( x)

令z ?

p ( x) , 显然z ? 0 q( x)

运用著名不等式
ln z ? z ? 1
z?0


H c [q( x), X ] ? ? ? ?? q( x) log2
aN a1 bN b1 bN b1

1

? (b
i ?1

N

i

? ai )

dx1 ? dxN ?

? p( x) ? ? q ( x ) ? q( x) ? 1? dx1 ? dxN ? ? ? ? aN a1 ? log2 ? (bi ? ai ) ? 1 ? 1 ? H c [ p( x), X ]
i ?1 N

则证明了,在定义域有限的条件下,以均匀 分布的熵为最大。

在实际问题中,随机变量 X i 的取值限制 在 ? bi 之间,峰值为 | bi | 。如果把取值看作是 输出信号的幅度,则相应的峰值功率就是 2 bi 。所以上述定理被称为峰值功率受限条件 下的最大连续熵定理。此时最大熵值为:
H c [ p( x), X ] ? log2 ?[bi ? (?bi )] ? log2 ? 2bi
i ?1 i ?1 N N

(2)限平均功率的最大熵定理 若信源输出信号的平均功率 P 和均值 m 被 限定,则其输出信号幅度的概率密度函数为 高斯分布时,信源具有最大熵值。 单变量连续信源 X 呈高斯分布时,PDF

2?? 当 X 是高斯分布以外的其它任意分布时 , PDF 记为 q( x) ,由约束条件已知
2

p( x) ?

1

e

?

( x?m)2 2? 2

? ? ?

?

?? ?

p( x)dx ? ? q( x) ? 1
??

?

?? ?

xp( x)dx ? ? xq( x) ? m
??

?

??

x p( x)dx ? ? x 2 q( x) ? P
2 ??

?

由于随机变量的方差

E[(X ? m) 2 ] ? E[ X 2 ] ? m2 ? P 2 ? m2 ? ? 2
当均值 m 为 0 时,平均功率就等于方差

?2 ? P, 可见对平均功率和均值的限制就等
于对方差的限制。用 H c ? p( x), X ?和 H c ?q( x), X ? 分别表 示高斯分布和任意非高斯分布连续信源的 熵 由前面的讨论已知
H c [ p ( x), X ] ?
? ??

1 log 2 (2?e? 2 ) 2

H c [q( x), X ] ? ? ? q( x) log2 q( x)dx
? ? 1 p ( x) ? ? ? q( x) log2 ? ? ? ?? ? q ( x) p ( x) ?

? p ( x) ? ? ? ? q( x) log2 p( x)dx ? ? q( x) log2 ? ?dx ?? ?? q ( x ) ? ?
? ?

? ?

? ? p ( x) ? 1 log2 (2?e? 2 ) ? ? q( x) ? ? 1?dx ? ? 2 ? q ( x) ?

1 log2 (2?e? 2 ) ? 1 ? 1 ? H c [ p( x), X ] 2

总结:在上两种情况下,信源的统计特性 与两种常见噪声—均匀噪声和高斯噪声的 统计特性相一致。

(3)均值受限条件下的最大连续熵定理 若连续信源 X 输出非负信号的均值受 限,则其输出信号幅度呈指数分布时,连续 信源 X 具有最大熵值。 连续信源 X 为指数分布时 PDF 为
1 ?m p ( x) ? e m
x

( x ? 0)

用 H c ? p( x), X ?和 H c ?q( x), X ? 分别表示指数分布和任意 非指数分布连续信源的熵。记限制条件为:

? ?


?

0 ?

p( x)dx ? ? q( x) ? 1
0

?

0

xp( x)dx ? ? xq( x) ? m
0

?

Hc[ p( x), X ] ? log2 me , 任意其它分布的信源熵
H c [q ( x), X ] ? ? ? q ( x) log2 q ( x)dx
0 ? ? 1 p( x) ? ? ? q ( x) log2 ? ? ? 0 ? q ( x) p( x) ? ? ? ? p ( x) ? ? ? ? q ( x) log2 p ( x)dx ? ? q ( x) log2 ? ?dx ?? ?? ? q( x) ? x ? 1 ?m ? ? ? ? p ( x) ? ? ? ? q ( x) log2 ? e ? dx ? ? q ( x) ? ? 1?dx ?? ?? m q ( x ) ? ? ? ? ? ? x ? log2 m ? q ( x)dx ? log2 e ? q ( x)dx ? 1 ? 1 0 0 m ? log2 m e ? H c [ p ( x), X ] ?

总结:连续信源与离散信源不同,它不存 在绝对的最大熵。其最大熵与信源的限制 条件有关,在不同的限制条件下,有不同 的最大连续熵值。 ? 熵功率 设连续信源 X 在 PDF 为 p( x) 时达到最大熵 值 H c [ p( x), X ] , 除此之外的其它任何 PDF q( x) 达到的熵值为 Hc [q( x), X ] , 两熵之差即表示信 源的剩余,记为 I p ,q ,也叫信息变差(或信源 的冗余)。即信源从一种 PDF p( x) 转到另一种 PDF q( x) 时,信源所含信息量发生的变化。
I p,q ? H c [ p( x), X ] ? H c [q( x), X ]

从信息变差的概念出发,连续信源的熵 可理解为最大熵与信息变差之间的差值。
H c [q( x), X ] ? H c [ p( x), X ] ? I p,q

讨论均值为零、平均功率限定为 P 的连 续信源的冗余问题。 当 PDF 为高斯分布时达到最大熵
H c [ p( x), X ] ? 1 log 2 2?eP 仅随限定功率 P 2

的变化而变化。假定限定的功率为 P ,相应 的熵为 H c [ p( x), X p ] ,若 P ? P ,则有
Hc [ p( x), X p ] ? Hc [ p( x), X ]

当 PDF 为其它任何分布 q( x) 时,也有
Hc [q( x), X ] ? Hc [ p( x), X ]

总能找到某一个 P ? P ,使
H c [q( x), X ] ? H c [ p( x), X p ] ? 1 log 2 2?e P 2

此即 P 的大小决定了实际信源的熵值。 称 P 为连续信源 X 在 PDF 为 q( x) 时的熵功率。 它与信息变差之间的关系:
I p .q ? 1 P log2 2 P

总结:信源的冗余度决定于平均功率的 限定值 P 与信源的熵功率 P 之比。


赞助商链接
更多相关文档:

Ch2例题与证明三

Ch2例题与证明三_数学_高中教育_教育专区。信息论与编码典型例题?...? ?4 x2 4 9 x3 ? ? X= X 1 X 2 中前后两个符号的 11? , ? ...

Ch2例题与证明六

Ch2例题与证明六_教育学_高等教育_教育专区。信息论与编码典型例题[...p(b ) ? 1 1 2 2 3 4 1 3 2 3 6 试求能使 H(XY)取最大值的...

Ch2例题与证明一

Ch2例题与证明一_数学_高中教育_教育专区。信息论与编码典型例题?...[例 2.1.4 条件熵] 已知 X,Y ? {0,1} ,XY 构成的联合 概率为:p(...

Ch2例题与证明五

Ch2例题与证明五_计算机软件及应用_IT/计算机_专业资料。? 定长编码定理 由 ...反之, 如果式(4)成立, 则式(5)必成立, 总可以把第 N 级上的树枝分成 n...

...& Coding信息论与编码(英文版)Ch2例题与证明三

扩 展信源的每个元素是信源 X 的输出长度为 2 的消息序 列。由于扩展信源是无记忆的,故 p(ai ) ? p( xi1 ) p( xi2 ) X 2 信源的元素 (i1 ,...

Ch2例题与证明二

0.024, p( x2 / y2 ) ? 0.976 (4) H ( X ) ? ?? p( xi ) ...线性 组合, p3 ( xi ) 构成一个新的概率分布(参见上节熵的上凸性的 证明...

ch2_例题

ch4_2例题 ch5_例题 ch6_例题 ch7_例题 1/2 相关文档推荐 例题ch2 23页...2/u*(-v+(v^2-4*u*w)^(1/2)) 1/2/u*(-v-(v^2-4*u*w)^(...

ch2国际贸易术语练习题

CH2 国际贸易术语 一、单项选择题 1、国际贸易中用以划分交易双方风险、责任和...( ) A、DES B、DAT C、DAP D、DDU 4、根据《2010 年通则》的解释,在 ...

证明题(四边形)

四边形证明解答题 4页 2财富值 四边形中考证明题 8页 10财富值 四边形证明题...(1)求证:CF=CH; (2)如图(2),△ABC 不动,将△EDC 绕点 C 旋转到∠BCE...

ch2 例题与习题

ch2 例题与习题 而而隐藏>> 例题与思考题 第二章...试证明当配 位数为 6 时,其最小半径比为 0.41...半径为 0.097nm,氯的离子半径为 0.181nm) 4....

更多相关标签:
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com