当前位置:首页 >> 数学 >> Ch2例题与证明四-1

Ch2例题与证明四-1


? 连续熵的性质 1.连续熵可为负值 2.可加性 连续信源也有与离散信源类似的可加 性。即 H c ( XY ) ? H c ( X ) ? H c (Y / X ) (1) H c ( XY ) ? H c (Y ) ? H c ( X / Y ) (2) 下面我们证明式(1)。
H c ( XY ) ? ? ?? p ( xy ) log 2 p ( xy ) dxdy
R2

? ? ?? p ( xy ) log 2 p ( x)dxdy ? ?? p ( xy ) log 2 p ( y / x)dxdy
R2 R2

? ?? log2 p( x)[? p( xy)dy]dx ? H c (Y / X )
R R

? H c ( X ) ? H c (Y / X )

其中, ? p( xy)dy ? p( x)
R

同理,可证明式(2)。 连续信源熵的可加性可以推广到 N 个变 量的情况。即
H c ( X 1 X 2 ? X N ) ? H ( X 1 ) ? H ( X 2 / X 1 ) ? H ( X 3 / X 1 X 2 ) ? ? ? H ( X N / X 1 X 2 ? X N ?1 )

3. 平均互信息的非负性 定义连续信源的无条件熵和条件熵之 差为连续信源的平均互信息。记为 I c ( X ; Y ) , 即有
I c ( X ;Y ) ? Hc ( X ) ? Hc ( X / Y ) I c (Y ; X ) ? H c (Y ) ? H c (Y / X )

连续信源的平均互信息仍保留了非负 性。即 IC ( X ;Y ) ? IC (Y ; X ) ? 0 证明条件熵小于等于无条件熵。即 Hc ( X / Y ) ? Hc ( X ) (3 ) H c (Y / X ) ? H c (Y ) (4) 现在我们证明式(3):
H c ( X / Y ) ? H c ( X ) ? ? ?? p( xy ) log 2 p( x / y )dxdy ? ? p( x) log 2 p( x)dx
R2 R

由 ? p( xy)dy ? p( x) 可得
R

H c ( X / Y ) ? H c ( X ) ? ? ?? p( xy) log2 p( x / y)dxdy ? ? p( xy) log2 p( x)dxdy
R2
R2

? ??? p( xy) log2
R2

p( x / y ) p( x) dxdy ??? p( xy) log2 dxdy p( x) p ( x / y ) 2 R

根据对数变换关系
log2 z ? log2 e ln z

和著名不等式
ln z ? z ? 1
z?0

并注意到
p( x) ? 0, p( x / y) ? 0

故有 令z ?

p ( x) ?0 p( x / y ) p( x) p( x / y )

,只要 p( x) 不恒为 0,则 z ? 0

? p( x) ? H c ( X / Y ) ? H c ( X ) ? ?? p( xy)? ? 1? dxdy ? p( x / y ) ? R2 ? p ( x) ? ? ?? p( y) p( x / y)? ? 1? dxdy ? p( x / y ) ? R2
? ? p( x)dx ? p( y )dy ? ?? p( xy )dxdy
R R R2

=1-1=0 即 其中
R

Hc ( X / Y ) ? Hc ( X )

? p( x)dx ? 1,? p( y )dy ? 1,?? p( xy )dxdy ? 1
R R2

由式(3)得
I C ( X ;Y ) ? 0

(5) (6)

同理可得
I C (Y ; X ) ? 0

4. 平均互信息的对称性 容易证明,连续信源的平均互信息也满 足对称性。即

I C ( X ; Y ) ? I C (Y ; X ) ? H c ( X ) ? H c (Y ) ? H c ( XY ) (7)

5. 满足数据处理定理 另外,连续信源还满足数据处理定理。 换句话说,把连续随机变量 Y 处理成另一随 机变量 Z 时,一般也会丢失信息。即 IC ( X ; Z ) ? IC ( X ; Y ) (8)

? 最大连续熵定理
(1)限峰值功率的最大熵定理 若代表信源的 N 维随机变量的取值被限制 在一定的范围之内,则在有限的定义域内, 均匀分布的连续信源具有最大熵。 设 N 维随机变量
X ? ? (ai , bi )
i ?1 N

bi ? ai

其均匀分布的概率密度函数为
1 ? ? N ? ? ? (bi ? ai ) p ( x ) ? ? i ?1 ? ? 0 ? ? x ? ? (bi ? ai )
i ?1 N

x ? ? (bi ? ai )
i ?1

N

除均匀分布以外的其他任意概率密度函数

? ? 记为 q( x ) ,并用 Hc ? ? p( x), X? ? 和 Hc ?q( x), X ? 分别表示 均匀分布和任意非均匀分布连续信源的熵。
bN



aN

? ? p( x)dx dx
1 a1
bN b1

b1

2

dxN ?

bN

aN

? ? q( x )dx dx
1 a1

b1

2

dxN ? 1

的条件下有
Hc ? ? q ( x ), X ? ? ???
bN
aN a1

? q( x ) log

2

q ( x )dx1

dxN

?

aN

?

? 1 p( x ) ? q ( x ) log ? 2 ? ? dx1 ? q ( x ) p ( x ) ? ? a1
b1

b1

dxN

? ??
bN

bN

aN b1

a1

? q( x ) log

2

p( x )dx1

dxN ? dxN

aN

?

a1

? q( x ) log 2

p( x ) dx1 q( x )

令z ?

p( x ) , 有z ? 0 q( x )

运用著名不等式
H c [q ( x ), X ] ? ? ?
bN b1 bN b1 aN a1

ln z ? z ? 1
1
N

z?0


dxN ?

? q( x ) log 2

? (b ? a )
i ?1 i i

dx1

aN

?

? p( x ) ? q ( x ) ? q ( x ) ? 1? dx1 ? ? ? a1
N i ?1

dxN

? log 2 ? (bi ? ai ) ? 1 ? 1 ? H c [ p ( x ), X ]

至此已证明了在定义域有限的条件下,以均 匀分布的熵为最大。 在实际问题中,随机变量 X i 的取值限制 在 ? bi 之间,峰值为 | bi | 。如果把取值看作是 输出信号的幅度,则相应的峰值功率就是 2 bi 。所以上述定理被称为峰值功率受限条件 下的最大连续熵定理。此时最大熵值为:
H c [ p( x), X ] ? log2 ?[bi ? (?bi )] ? log2 ? 2bi
i ?1 i ?1 N N

(2)限平均功率的最大熵定理 若信源输出信号的平均功率 P 和均值 m 被 限定,则其输出信号幅度的概率密度函数为 高斯分布时,信源具有最大熵值。 单变量连续信源 X 呈高斯分布时,PDF

2?? 2 当 X 是高斯分布以外的其它任意分布时 , PDF 记为 q( x) ,由约束条件已知

p( x) ?

1

e

?

( x?m)2 2? 2

? ? p ( x)dx ? ? q ( x) ? 1 ??? ? ??? ? ? ? ? ??? xp ( x)dx ? ??? xq ( x) ? m ? ? ? 2 2 ? x p ( x)dx ? x ??? q( x) ? P ? ??? 由于随机变量的方差

E[(X ? m) 2 ] ? E[ X 2 ] ? m2 ? P 2 ? m2 ? ? 2
当均值 m 为 0 时,平均功率就等于方差

?2 ? P, 可见对平均功率和均值的限制就等
于对方差的限制。用 H c ? p( x), X ?和 H c ?q( x), X ? 分别表 示高斯分布和任意非高斯分布连续信源的 熵 由前面的讨论已知
H c [ p ( x), X ] ? 1 log 2 (2?e? 2 ) 2

H c [q( x), X ] ? ? ? q( x) log 2 q( x)dx
?? ? ? 1 p ( x) ? ? ? q( x) log 2 ? ? ? ?? ? q ( x) p ( x) ? ? ? ? p ( x) ? ? ? ? q( x) log 2 p( x)dx ? ? q( x) log 2 ? ?dx ?? ?? q ( x ) ? ? ? ? p ( x) ? 1 2 ? log 2 (2? e? ) ? ? q( x) ? ? 1? log 2 e ? dx ?? 2 q ( x ) ? ?

?

1 ? log 2 (2? e? 2 ) ? 1 ? 1 ? H c [ p( x), X ] 2

其中
? ? q( x) log 2 p( x)dx ? ? ? q( x)[log 2
?? ?? ? ?

1 2?? 1 2??
2 2

e

?

( x ? m )2 2? 2

]dx
? ( x ? m )2 2? 2

? ? ? q( x)[log 2
??

?

? log 2 e
?

]dx

? log 2

( x ? m) 2 2?? ? log 2 e ? ? q( x) dx ?? 2? 2
2

1 ? log 2 2?? 2 ? log 2 e 2 1 ? log 2 2? e? 2 2

(3)均值受限条件下的最大连续熵定理 若连续信源 X 输出非负信号的均值受 限,则其输出信号幅度呈指数分布时,连续 信源 X 具有最大熵值。 连续信源 X 为指数分布时 PDF 为
1 ?m p ( x) ? e m
x

( x ? 0)

用 H c ? p( x), X ?和 H c ?q( x), X ? 分别表示指数分布和任意 非指数分布连续信源的熵。记限制条件为:

? ?


?

0 ?

p( x)dx ? ? q( x) ? 1
0

?

0

xp( x)dx ? ? xq( x) ? m
0

?

Hc[ p( x), X ] ? log2 me , 任意其它分布的信源熵

H c [q ( x), X ] ? ? ? q ( x) log 2 q ( x)dx
0 ? ? 1 p ( x) ? ? ? q ( x) log 2 ? ? ? 0 ? q( x) p ( x) ? ? ? ? p( x) ? ? ? ? q ( x) log 2 p ( x)dx ? ? q ( x) log 2 ? ?dx ?? ?? q ( x ) ? ? x ? ? ? 1 ?m ? ? p ( x) ? ? ? ? q ( x) log 2 ? e ? dx ? log 2 e ? ? q( x) ? ? 1?d x ?? ?? m q ( x ) ? ? ? ? ?0 ? ?

?

? log 2 m ? ? q ( x)dx ? log 2 e ?
0

0

x q ( x)dx m

? log 2 me ? H c [ p( x), X ]

总结:连续信源与离散信源不同,它不存在 绝对的最大熵。其最大熵与信源的限制条 件有关,在不同的限制条件下,有不同的 最大连续熵值。

? 熵功率 设连续信源 X 在 PDF 为 p( x) 时达到最大熵 值 H c [ p( x), X ] , 除此之外的其它任何 PDF q( x) 达到的熵值为 Hc [q( x), X ] , 两熵之差即表示信 源的剩余,记为 I p ,q ,也叫信息变差(或信源 的冗余)。即信源从一种 PDF p( x) 转到另一种 PDF q( x) 时,信源所含信息量发生的变化。
I p,q ? H c [ p( x), X ] ? H c [q( x), X ]

从信息变差的概念出发,连续信源的熵 可理解为最大熵与信息变差之间的差值。
H c [q( x), X ] ? H c [ p( x), X ] ? I p,q

讨论均值为零、平均功率限定为 P 的连 续信源的冗余问题。 当 PDF 为高斯分布时达到最大熵
H c [ p( x), X ] ? 1 log 2 2?eP 仅随限定功率 P 2

的变化而变化。假定限定的功率为 P ,相应 的熵为 H c [ p( x), X p ] ,若 P ? P ,则有
Hc [ p( x), X p ] ? Hc [ p( x), X ]

当 PDF 为其它任何分布 q( x) 时,也有
Hc [q( x), X ] ? Hc [ p( x), X ]

总能找到某一个 P ? P ,使
H c [q( x), X ] ? H c [ p( x), X p ] ? 1 log 2 2?e P 2

此即 P 的大小决定了实际信源的熵值。 称 P 为连续信源 X 在 PDF 为 q( x) 时的熵功率。 它与信息变差之间的关系:
I p .q ? 1 P log2 2 P

总结:信源的冗余度决定于平均功率的 限定值 P 与信源的熵功率 P 之比。


更多相关文档:

Ch2例题与证明四

C​h​2​例​题​与​证​明​四 暂无评价|0人阅读|0次下载...H c ( X 1 ) ?H c ( X 2 ) ? ? ? H c ( X N ) i ?1 N ...

Ch2例题与证明六

Ch2例题与证明六_教育学_高等教育_教育专区。信息论与编码典型例题[...p(b ) ? 1 1 2 2 3 4 1 3 2 3 6 试求能使 H(XY)取最大值的...

Ch2例题与证明五

Ch2例题与证明五_计算机软件及应用_IT/计算机_专业资料。? 定长编码定理 由 ...?1 i ?1 n N 这就是异前置码存在的必要条件。 反之, 如果式(4)成立, ...

...& Coding信息论与编码(英文版)Ch2例题与证明三

扩 展信源的每个元素是信源 X 的输出长度为 2 的消息序 列。由于扩展信源是无记忆的,故 p(ai ) ? p( xi1 ) p( xi2 ) X 2 信源的元素 (i1 ,...

Ch2例题与证明二

p( x2 / y1 ) ? 1 ? p( x1 / y1 ) ? 0.169 同样可推出 p( x1 / y2 ) ? 0.024, p( x2 / y2 ) ? 0.976 (4) H ( X ) ? ?? ...

ch2国际贸易术语练习题

CH2 国际贸易术语 一、单项选择题 1、国际贸易中...《跟单信用证统一惯例》 D、 《国际货物销售合同...FOB 与 FAS 的区别 4、根据《2010 年通则》的...

CH2应用题参考答案

2页 1下载券 ch2_习题答案 10页 免费 习题集答案(CH2) 11页 4下载券 CH...c,且满足 a<b<c,试证明采用短作业优先算法调度能获得最小平均 作业周转时间...

近世代数ch2(1-6节)习题参考答案

近世代数ch2(1-6节)习题参考答案_理学_高等教育_...证(仿照群第二定义的证明) ?1 ?1 先证 aaR ?...4. 在有限群 G 中,每一元素具有一有限阶。 证 ...

高一化学必修二习题3-1-1

高一化学必修二习题3-2-... 高一化学必修二习题3-3-...1/2 相关文档推荐...能够证明甲烷分子的空间结构为正四面体的事实是( A.甲烷的 4 个碳氢键的键能...

江苏省栟茶高级中学11-12学年高一下学期期中考试化学试题

小题给出的四个选项中, 个或两个选项符合题目...( ) B.CH3CH2CH2CH2OH C.CH3CH2CH2OCH3 ...(3)验证 CO2 存在 除去混合气体中的 CO2 证明 ...
更多相关标签:
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com