当前位置:首页 >> 计算机软件及应用 >> Ch2例题与证明二

Ch2例题与证明二


? 平均互信息的物理意义 (1)Y 对 X 的平均互信息
I ( X ; Y ) ? ?? p( xi y j )I ( xi ; y j ) ? ?? p( xi y j ) log2
i ?1 j ?1 n m i ?1 j ?1 n m n m

p( xi / y j ) p( xi )

n m 1 1 ? ?? p( xi y j ) log2 ? ?? p( xi y j ) log2 p( xi ) i?1 j ?1 p( xi / y j ) i ?1 j ?1

? H(X ) ? H (X /Y) 其中条件熵: H ( X / Y ) ? ??? p( xi y j ) log2 p( xi / y j )
i ?1 j ?1 n m

*

Y 对 X 的平均互信息是对 Y 一无所知的情况下,X 的先验不定度与收到 Y 后

关于 X 的后验不定度之差, 即收到 Y 前、 后关于 X 的不确定度减少的量。H(X/Y) 表示收到随机变量 Y 后,对随机变量 X 仍然存在的不确定度,这是 Y 关于 X 的后验不定度, 通常称它为信道疑义度或损失熵(代表了在信道中损失的信息)

(2)X 对 Y 的平均互信息
I (Y ; X ) ? ?? p( xi y j )I ( y j ; xi ) ? ?? p( xi y j ) log2
i ?1 j ?1 n m i ?1 j ?1 n m n m

p( y j / xi ) p( y j )

*

X对Y

的平均

n m 1 1 互信息 ? ?? p( xi y j ) log2 ? ?? p( xi y j ) log2 p( yi ) i ?1 j ?1 p( y j / xi ) i ?1 j ?1

? H (Y ) ? H (Y / X ) 其中条件熵: H (Y / X ) ? ??? p( xi y j ) log2 p( y j / xi )
i ?1 j ?1 n m

是 Y 的先 验不定 度与发 出 X 后关

于 Y 的后验不定度之差,即发 X 前、后关于 Y 的不确定度减少的量。H(Y/X)

表示发出随机变量 X 后,对随机变量 Y 仍然存在的平均不确定度,常被称为噪 声熵。

(3) Y 对 X 的平均互信息
I ( X ; Y ) ? ?? p( xi y j )I ( xi ; y j ) ? ?? p( xi y j ) log2
i ?1 j ?1 n m i ?1 j ?1 n m n m

p( xi y j ) p( xi ) p( y j )

n m 1 1 ? ?? p( xi y j ) log2 ? ?? p( xi y j ) log2 p( xi ) i ?1 j ?1 p( y j ) i ?1 j ?1

? ?? p( xi y j ) log2
i ?1 j ?1

n

m

1 p( xi y j )

? H ( X ) ? H (Y ) ? H ( XY ) 其中联合熵: H ( XY ) ? ??? p( xi y j ) log2 p( xi y j )
i ?1 j ?1 n m

*

信道两端随机变量 X,Y 之间的平均互信息量等于通信前、后整个系统不确

定度减少的量。联合熵表示输入随机变量 X,经信道传输到达信宿,输出随机 变量 Y,即收发双方通信后,整个系统仍然存在的不确定度。如果在通信前, 我们把 X,Y 看成是两个独立的随机变量,那么通信前,整个系统的先验不定 度即 X 和 Y 的联合熵等于 H(X)+H(Y);通信后,我们把信道两端同时出现 X 和 Y 看成是由信道的传递统计特性联系起来的具有一定统计关联关系的两个随 机变量,这时整个系统的后验不定度由 H(XY)描述。
X [ 例 2.1.5] 将已知信源 ? ? ? ? x1 ? ? ?0.5 P ( X ) ? ? ? x2 ? ? 接到下图所示的信道 0.5?

上,求在该信道上传输的平均互信息量 I(X;Y) 、疑义度 H(X/Y)、噪声熵 H(Y/X)和联合熵 H(XY)。

x1
0.02

0.98

y1

0.2

x2

0.8

y2

解: (1)由 P( xi y j ) ? p( xi ) p( y j / xi ), 求出各联合概率:
p( x1 y1 ) ? p( x1 ) p( y1 / x1 ) ? 0.5 ? 0.98 ? 0.49 p( x1 y2 ) ? p( x1 ) p( y2 / x1 ) ? 0.5 ? 0.02 ? 0.01 p( x2 y1 ) ? p( x2 ) p( y1 / x2 ) ? 0.5 ? 0.20 ? 0.10 p( x2 y2 ) ? p( x2 ) p( y2 / x2 ) ? 0.5 ? 0.80 ? 0.40

(2)由 P( y j ) ? ? P( xi y j ), 得到
i ?1

n

Y 集各消息概率:

p( y1 ) ? ? P( xi y1 ) ? p( x1 y1 ) ? p( x2 y1 ) ? 0.49 ? 0.10 ? 0.59
i ?1

2

p( y2 ) ? 1 ? p( y1 ) ? 1 ? 0.59 ? 0.41

(3)由 p( x

i

/ yj) ?

p ( xi y j ) p( y j )

,得到 X 的各后验概率:
p( x1 y1 ) 0.49 ? ? 0.831 p( y1 ) 0.59

p( x1 / y1 ) ?

p( x2 / y1 ) ? 1 ? p( x1 / y1 ) ? 0.169

同样可推出 p( x1 / y2 ) ? 0.024, p( x2 / y2 ) ? 0.976 (4) H ( X ) ? ?? p( xi ) log2 p( xi ) ? ?{0.5 log2 0.5 ? 0.5 log2 0.5} ? 1(比特 / 符号)
i ?1 2

H (Y ) ? ?? p( yi ) log2 p( yi ) ? ?{0.59log2 0.59 ? 0.41log2 0.41 }
i ?1

2

=0.98(比特/符号)
H ( XY ) ? ??? p( xi y j ) log2 p( xi y j )
i ?1 j ?1 n m

? ?{0.49log2 0.49 ? 0.01log2 0.01? 0.10log2 0.10 ? 0.40log2 0.40}
= 1.43(比特/符号)

(5)平均互信息
I ( X ; Y ) ? H ( X ) ? H (Y ) ? H ( XY ) ? 1 ? 0.98 ? 1.43 ? 0.55(比特/ 符号)

(6)疑义度
H(X / Y) ? ??? p( xi y j ) log2 p( xi / y j )
i ?1 j ?1 2 2

? ?{0.49log2 0.831? 0.01log2 0.024? 0.10log2 0.169? 0.40log2 0.976 } ? 0.45(比特 / 符号)

(7)噪声熵
H(Y / X) ? ??? p( xi y j ) log2 p( y j / xi )
i ?1 j ?1 2 2

? ?{0.49log2 0.98 ? 0.01log2 0.02 ? 0.10log2 0.20 ? 0.40log2 0.80}
? 0.43(比特 / 符号)

? 平均互信息的性质-非负性 先前考虑两个具体消息 xi 和y j 之间的互信息量 I ( xi ; y j ) 时, 可能出现负值。 而平均互信息量不是从两个具体消息出发, 而是从随机变量 X 和 Y 的整体角度出发,并在平均意义上 观察问题,所以平均互信息量不会出现负值。

? I ( X ; Y ) ? ??? p ( xi y j ) log2
i ?1 j ?1 m

n

m

p ( xi y j ) p ( xi ) p ( y j ) p ( xi y j )

? ?? p ( xi y j ) log2
i ?1 j ?1 n m

n

p ( xi ) p ( y j )

? p ( xi ) p ( y j ) ? ? ?? p ( xi y j ) ? ? 1? log2 e i ?1 j ?1 ? p ( xi y j ) ? ? ? ? n ? ?? ? i ?1 ? p ( x ) p ( y ) ? p ( x y ) ? ?? i j i j ? log2 e j ?1 i ?1 j ?1 ?
m n m

m n m ? n ? ? ?? p ( xi )? p ( y j ) ? ?? p ( xi y j ) ? log2 e j ?1 i ?1 j ?1 ? i ?1 ? ?0

即I ( X ; Y ) ? 0

当且仅当 X 和 Y 相互独立时,等号成立。 ? 凸函数性
I ( X ;Y ) ? ?
n m

?? p( x y
i ?1 j ?1 n m i i ?1 j ?1 i

j

) log2

p ( y j / xi ) p( y j ) p( y j / xi )

?? p( x ) p( y

j

/ xi ) log2

? p( x ) p( y
i ?1 i

n

j

/ xi )

显然平均互信息是信源概率分布 p( xi )(i ? 1,2,?, n) 和表示输入 输出之间关系的条件概率或称信道传递概率分布

p( y j / xi )(i ? 1,2,?, n; j ? 1,2,?, m) 的函数。
若固定信道,调整信源: I ( X ; Y ) ? f [ p( xi )] 若固定信源,调整信道: I ( X ; Y ) ? f [ p( y j / xi )] (1)平均互信息是输入信源概率分布 p( xi ) 的上凸函数

所谓上凸函数,是指同一信源集合 {x1, x2 ?, xn } ,对应两个 不同的概率分布 p1 ( xi ) 和 p2 ( xi )(i ? 1,2,?, n) ,若有小于 1 的正 数 0 ? ? ? 1,使不等式
f [?p1 ( xi ) ? (1 ? ? ) p2 ( xi )] ? ?f [ p1 ( xi )] ? (1 ? ? ) f [ p2 ( xi )]

成立,则称函数 f 为 p( xi ) 的上凸函数。 令 p3 ( xi ) ? ?p1 ( xi ) ? (1 ?? ) p2 ( xi ) , 因 p3 ( xi ) 是 p1 ( xi ) 和 p2 ( xi ) 的线性 组合, p3 ( xi ) 构成一个新的概率分布(参见上节熵的上凸性的 证明) 。当固定信道特性为 p0 ( y j / xi ) 时,由 p3 ( xi ) 确定的平均互 信息为
I [ p3 ( xi )] ? f [?p1 ( xi ) ? (1 ? ? ) p 2 ( xi )] ? ? ? ? p 0 ( y j / xi ) ? ? ?? p3 ( xi ) p 0 ( y j / xi ) log2 ? n ? p (x ) p ( y / x ) ? i ?1 j ?1 ? 3 i 0 j i ? ? ? i ?1 ?
n m

? ? ? ? p 0 ( y j / xi ) ? ? ?? [?p1 ( xi ) ? (1 ? ? ) p 2 ( xi )] p 0 ( y j / xi ) log2 ? n ? i ?1 j ?1 [?p1 ( xi ) ? (1 ? ? ) p 2 ( xi )] p 0 ( y j / xi ) ? ? ? ? ? i ?1 ? n ? ? ? ? [?p1 ( xi ) ? (1 ? ? ) p 2 ( xi )] p 0 ( y j / xi ) ? n m ? ? ??? [?p1 ( xi ) ? (1 ? ? ) p 2 ( xi )] p 0 ( y j / xi ) log2 ? i ?1 p 0 ( y j / xi ) ? ? i ?1 j ?1 ? ? ? ?
n m

? ?? ?? p1 ( xi ) p 0 ( y j / xi ) log2 [?p1 ( y j ) ? (1 ? ? ) p 2 ( y j )] ?
i ?1 j ?1

n

m

(1 ? ? )?? p 2 ( xi ) p 0 ( y j / xi ) log2 [?p1 ( y j ) ? (1 ? ? ) p 2 ( y j )] ?
i ?1 j ?1

n

m

?? [?p ( x ) ? (1 ? ? ) p
i ?1 j ?1 1 i

n

m

2

( xi )] p 0 ( y j / xi ) log2 p 0 ( y j / xi )

根据熵的极值性 ? ? p( xi ) log2 q( xi ) ? ?? p( xi ) log2 p( xi ) 有
i ?1 i ?1

n

n

m ? n ? ? ? ?? p1 ( xi ) p 0 ( y j / xi )? log2 [?p1 ( y j ) ? (1 ? ? ) p 2 ( y j )] ? ?? p1 ( y j ) log2 p1 ( y j ) j ?1 ? i ?1 j ?1 ? m m m ? n ? ? ? ?? p 2 ( xi ) p 0 ( y j / xi )? log2 [?p1 ( y j ) ? (1 ? ? ) p 2 ( y j )] ? ?? p 2 ( y j ) log2 p 2 ( y j ) j ?1 ? i ?1 j ?1 ?

代入上式有
I [ p3 ( xi )] ? ?? ? p1 ( y j ) log2 p1 ( y j ) ? (1 ? ? )? p2 ( y j ) log2 p2 ( y j ) ?
j ?1 j ?1 m m

?? [?p ( x ) ? (1 ? ? ) p ( x )] p ( y
i ?1 j ?1 n 1 i 2 i 0

n

m

j

/ xi ) log2 p0 ( y j / xi ) ?

? ? ?? p1 ( xi ) p0 ( y j / xi ) log2
i ?1 j ?1 n m

m

p0 ( y j / xi ) p1 ( y j )

(1 ? ? )?? p2 ( xi ) p0 ( y j / xi ) log2
i ?1 j ?1

p0 ( y j / xi ) p2 ( y j )

? ?I [ p1 ( xi )] ? (1 ? ? ) I [ p2 ( xi )]

仅当 p3 ( xi ) = p1 ( xi ) = p2 ( xi ) 时,等号成立,一般情况下

I [ p3 ( xi )] ? ?I [ p1 ( xi )] ? (1 ? ? ) I [ p2 ( xi )]
(2)平均互信息是信道转移概率 p( y j / xi ) 的下凸函数 固定信源 p( xi ) ,通过调整信道 p( y j / xi ) 而得;即有两个不 同的信道特性 p1 ( y j / xi ) 和 p2 ( y j / xi ) 将信道两端的输入和输出 即 X 和 Y 联系起来,如果用小于 1 的正数 0 ? ? ? 1 对 p1 ( y j / xi ) 和 p2 ( y j / xi ) 进 行 线 性 组 合 , 得 到 信 道 特 性 :

p3 ( y j / xi ) ? ?p1 ( y j / xi ) ? (1- ? ) p2 ( y j / xi ) 。所谓下凸函数即

I [ p3 ( y j / xi )] ? I [?p1 ( y j / xi ) ? (1 ? ? ) p2 ( y j / xi )] ??I [ p1 ( y j / xi )] ? (1 ? ? ) I [ p2 ( y j / xi )]

证法二:互信息 I(U;V)是 pi ? p(ui ) 的上凸( ? 凸)函数;是
Pji ? P(v j / ui ) 的下凸( ? 凸)函数。

证明:为了证明方便,我们将互信息改写为:
I (U ; V ) ? H (V ) ? H (V / U ) ? ??? pi Pji log
i j

qj Pji

? ??? pi Pji log
i j

?pP
i i

ji

Pji

? I ( pi , Pji )
o 当条件概率 Pji 不变时, Pji ? Pji , o ) ? I ( pi ) 这时, I ( pi , Pji ) ? I ( pi , Pji

? ' '' ? ' '' 设: pi ? ? pi ? (1 ? ? ) pi ,即 pi 为 pi 与 pi 内插值,

其中 0 ? ? ? 1 ,这时有
? o ' '' o ' '' q? j ? ? pi Pji ? ?[? pi ? (1 ? ? ) pi ]Pji ? ? q j ? (1 ? ? )q j
i i

所以要证明 I ( pi ) 是 pi 的上凸函数,只需证: (按上凸函数定义)
? I ( pi' ) ? (1 ? ? )I ( pi'' ) ? I[? pi' ? (1 ? ? ) pi'' ] ,即:

? I ( pi' ) ? (1 ? ? ) I ( pi'' ) ? I [? pi' ? (1 ? ? ) pi'' ]
? ? ?? p P log
' i o ji i j ' i o Pji

[? pi' ? (1 ? ? ) pi'' ? pi? ]
o Pji

q 'j

? (1 ? ? )?? p P log
'' i o ji i j '' i o ji o Pji

q 'j'

? ?? [? p ? (1 ? ? ) p ]P log
i j

q?j
'' i o ji o ? Pji qj o q 'j' Pji

? ? ?? p P log
' i o ji i j

o ? Pji qj o q 'j Pji

? (1 ? ? )?? p P log
i j

~~~~~~~ ~~

~~~~~~~ ~~

E

f
' i o ji

E

f
'' i o ji

? ? log ? (? p P )
j i j

q?j q 'j

? (1 ? ? ) log ? (? p P )
j i j

q?j q 'j'

Jensen不等式

? ? log ? q?j ? (1 ? ? ) log ? q? j ? ? log 1 ? (1 ? ? ) log 1 ? 0

上凸性得证。
o 再证下凸性,这时,可认为 pi ? pi 为不变值,

则 I ( pi , Pji ) ? I ( pi , Pji ) ? I (Pji )
o

? ' '' 同理,可设: Pji ? ? Pji ? (1 ? ? )Pji

0 ? ? ? 1,


? ' '' q?j ? ? pio Pji ? ? pio[? Pji ? (1 ? ? ) Pji ]
i i

? ? q 'j ? (1 ? ? )q 'j'

要证下凸性,只需证
' '' ' '' I[? Pji ? (1 ?? )Pji ] ? ? I (Pji ) ? (1 ?? )I (Pji ) ,即:

' '' ' '' I [? Pji ? (1 ? ? ) Pji ] ? [? I ( Pji ) ? (1 ? ? ) I ( Pji )]

? ?? [? P ? (1 ? ? ) P ] p log
' ji '' ji o i i j

? Pji

q?j
o i '' ji '' Pji

? ? ?? p P log
o i ' ji i j

' Pji

q 'j

? (1 ? ? )?? p P log
i j o i '' ji

q 'j'
? '' Pji qj
'' q?j Pji

? ? ?? p P log
o i ' ji i j

? ' Pji qj
' q?j Pji

? (1 ? ? )?? p P log
i j

~~~~~~~ ~~

~~~~~~~ ~~

E
o i

f
' ji

E
? ' Pji qj
' q?j Pji

f
o i '' ji

? ? log ?? p P
i j o i

? (1 ? ? ) log ?? p P
i j o i

? '' Pji qj
'' q?j Pji

Jensen不等式

? ? log ? (? p Pji )
?
j i j

q 'j q?j

? (1 ? ? ) log ? (? p Pji )
?
j i j

q 'j' q?j

? ? log ? q 'j ? (1 ? ? ) log ? q 'j' ? ? log1 ? (1 ? ? ) log1 ? 0

下凸性亦得证。 [例 2.1.6]设二进制对称信道的输入概率空间为
X P(x) 0 ,1 p,1-p

信道转移概率如下图 q 1-q 1-q 0

0

1 q

1

由信道特性决定的条件熵:
H (Y / X ) ? ?? ? p ( xi ) p ( y j / xi ) log2 p ( y j / xi )
i ?1 j ?1 2 2

? ?

? p( x ){?[q] l
i ?1 2 i

2

o 2g q ? q l o 2g q}

? p( x ) H (q)
i ?1 i

? H (q)

由 p( y j ) ? ? p( xi ) p( y j / xi ) 可求得
i ?1

n

p( y1 ) ? P(Y ? 0) ? pq ? pq p( y2 ) ? P(Y ? 1) ? pq ? pq

平均互信息量
I ( X ;Y ) ? H (Y ) ? H (Y / X ) ? H ( pq ? pq) ? H (q) …(1)

在式(1)中,当 q 不变即固定信道特性时,可得 I ( X ; Y ) 随输 入概率 p 变化的曲线,如下图所示。由图可见,二进制对称 信道特性固定后,输入呈等概率分布时,平均而言在接收端 可获得最大信息量。
I ( X ;Y )

1-H(q)

0

0.5

1

p

在式(1)中,当固定信源特性 p 时,平均互信息量 I ( X ; Y ) 就 是信道特性 q 的函数,其随 q 变化的曲线如下图所示。由图 可见,当二进制对称信道特性 q = q = 2 时,信道输出端获得 信息量最小,即等于 0。说明信源的全部信息都损失在信道 中了。这是一种最差的信道。
I ( X ;Y )
1

H(p)

0 ? 数据处理定理

0.5

1

q

信息不增性原理:在任何信息传输系统中,最后获得的信息 至多是信源所提供的信息。
H ( X ) ? I ( X ; Y ) ? I ( X ; Z ) ? I ( X ;W ) ? ?

X
信道 I

Y
信道 II

Z
信道 III

W

?I ( X ; Z ) ? I (Y ; Z ) 证明: ?I ( X ; Z ) ? I ( X ; Y ) 假设 Y 条件下 X 与 Z 独立 ?

证明:对式
I ( xi ; y j zk ) ? log2 p( xi / y j zk ) p( xi ) p( xi / y j zk ) p( xi / zk )

I ( xi ; y j / zk ) ? log2

求数学期望得到 X 与 YZ 之间的平均互信息量和 Z 已知条件 下, X 和 Y 之间的条件平均互信息量
I ( X ; YZ ) ? E[ I ( xi ; y j z k )]

? ??? p( xi y j z k ) log2
i ?1 j ?1 k ?1

n

m

L

p ( xi / y j z k ) p ( xi )

? ?? p( xi ) log2 p( xi ) ? H ( X / YZ )
i ?1

n

? H ( X ) ? H ( X / YZ )
m L

… (1)

其中 ?? p( xi y j z k ) ? p( xi )
j ?1 k ?1

I ( X ;Y / Z ) ? E[I ( xi ; y j / zk )] ?
n m L

??? p( x y z ) log
i ?1 j ?1 k ?1 i j k

n

m

L

p ( xi / y j z k ) p ( xi / z k )

2

? ???? p( xi y j zk ) log 2 p( xi / zk ) ???? p( xi y j zk ) log 2 p( xi / y j zk )
i ?1 j ?1 k ?1 i ?1 j ?1 k ?1

n

m

L

? ???? p( xi y j z k ) log 2 p( xi / z k ) ? H ( X / YZ )
i ?1 j ?1 k ?1

n

m

L

? H ( X / Z ) ? H ( X / YZ )

…(2)

其中 ? p( xi y j z k ) ? p(xi z k ) 。
j ?1

m

式(1)减去(2)得到

I ( X ; Z ) ? I ( X ; YZ ) ? I ( X ; Y / Z )
同理可得

…(3) …(4)

I ( X ;Y ) ? I ( X ;YZ ) ? I ( X ; Z / Y )
由式(4)得

因为已假设在 Y 条件下 X 与 z 相互独立,故有 I ( X ; Z / Y ) =0,

I ( X ;Y ) ? I ( X ;YZ )
(5)代入式(3)

…(5)

I ( X ; Z ) ? I ( X ;Y ) ? I ( X ;Y / Z )
考虑到 I ( X ;Y / Z ) 为非负量,则有

I ( X ; Z ) ? I ( X ;Y )
同理可得

I ( X ; Z ) ? I (Y ; Z )
结论:两级串联信道输入与输出消息之间的平均互信息量既 不会超过第 I 级信道输入与输出之间的平均互信息量,也不 会超过第 II 级信道输入与输出之间的平均互信息量。 数据处 理定理说明-当对信号、数据或消息进行多级处理时,每处理 一次,就有可能损失一部分信息,也就是说数据处理会把信 号、数据或消息变成更有用的形式,但是决不会创造出新的 信息。此即信息不增原理。如果我们想通过 Y 尽可能多地获

得关于 X 的消息,也就是想增加互信息量,必须付出代价。 思考??? 至此,我们已讨论了熵 H(U)、H(V),条件熵 H(U/V)、 H(V/U),联合熵 H(U,V)以及互信息 I(U;V),它们之间可以用 下列形象、直观图形表示: H(U,V)

H(U/V)

I(U;V) H(V/U)

H(U) H(V)

作业二 [习题 5].证明平稳信源有 H ( X 3 | X 1 X 2 ) ? H ( X 2 | X1 ) ,并说明等式成 立的条件。 (pp71 2.16) [ 习题 6]. 证明 H ( X 1 X 2 ? X N ) ? H ( X 1 ) ? H ( X 2 ) ? ?H ( X N ) ( pp71 2.17) [习题 7].设有一个信源,它产生 0、1 序列的消息。它在任 意时间而且不论以前发生过什么符号,均按 P(0) =0.4,P(1)=0.6 的概率发出信号。 (1) 试问这个信源是否平稳的?
2 lim H N ( X ) 。 (2) 试计算 H ( X ), H ( X 3 | X1 X 2 ) 及 N ??

(3) 试 计 算 H ( X 4 ) 并 写 出 X 4 信 源 中 可 能 有 的 所 有 符 号 。 (pp71 2.18) [习题 8]. 一阶马尔可夫信源的状态图如下图所示, 信源 X 的 符号集为{0,1,2}。 (pp71 2.23) (1) 求平稳后信源的概率分布。 (2) 求信源的熵 H ? 。 (3) 求当 p ? 0 和 p ? 1 时信源的熵,并说明其理由。

0

1

2


更多相关文档:

Ch2例题与证明一

Ch2例题与证明一_数学_高中教育_教育专区。信息论与编码典型例题?...证明二:设 P,Q 为两组归一的概率矢量 P ? [ p ( x1 ), p ( x2 )...

...& Coding信息论与编码(英文版)Ch2例题与证明三

扩 展信源的每个元素是信源 X 的输出长度为 2 的消息序 列。由于扩展信源是无记忆的,故 p(ai ) ? p( xi1 ) p( xi2 ) X 2 信源的元素 (i1 ,...

Ch2例题与证明四-1

Ch2例题与证明四-1_数学_高中教育_教育专区。信息论与编码典型例题? 连续熵的性质 1.连续熵可为负值 2.可加性 连续信源也有与离散信源类似的可加 性。即 ...

Ch2例题与证明五

Ch2例题与证明五_计算机软件及应用_IT/计算机_专业资料。? 定长编码定理 由 L 个符号组成的, 每个符号的熵为 H(X) 的平稳无记忆符号序列 X 1 X 2 ? X...

Ch2例题与证明四

这里,我们仍将 Hc(U)定义为连 续信源的熵,理由有二:一是由于它在形式 上...H c (Y ) ? H c ( X / Y ) (2) 下面我们证明式(1)。 H c ( ...

近世代数ch2(1-6节)习题参考答案

近世代数ch2(1-6节)习题参考答案_理学_高等教育_教育专区。第二章前 6 节...{ f ( a,b) | ?a, b ? R, a ? 0} ,本题就是证明 G 是一个变...

ch2国际贸易术语练习题

CH2 国际贸易术语 一、单项选择题 1、国际贸易中用以划分交易双方风险、责任和...( ) A、一种 B、二种 C、四种 D、五种 13、 《1990 美国对外贸易定义...

Ch2点估计习题课应用统计

Ch2点估计习题课应用统计 隐藏>> 第二章 第二章 参数估计 点估计) (点估计...? P78,Ex13 证明: 证明:①母体 X ~ P(λ ),∴ E ( S *2 ) = D(...

ch2 例题与习题

ch2 例题与习题 而而隐藏>> 例题与思考题 第二章 例题与思考题 1. 氧化镁...而离子键结合的原子其最大的配位数是受其离子半径比所限制.试证明当配 位数...

ch2例题习题实验

ch2例题习题实验_工学_高等教育_教育专区。C语言的练习题练习题第二章 数据类型、运算符和表达式例题 2.1 #include <stdio.h> /*函数功能:计算两个整数相加之...
更多相关标签:
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com