当前位置:首页 >> 计算机软件及应用 >> Ch2例题与证明二

Ch2例题与证明二


? 平均互信息的物理意义 (1)Y 对 X 的平均互信息
I ( X ; Y ) ? ?? p( xi y j )I ( xi ; y j ) ? ?? p( xi y j ) log2
i ?1 j ?1 n m i ?1 j ?1 n m n m

p( xi / y j ) p( xi )

n m 1 1 ? ?? p( xi y j ) log2 ? ?? p( xi y j ) log2 p( xi ) i?1 j ?1 p( xi / y j ) i ?1 j ?1

? H(X ) ? H (X /Y) 其中条件熵: H ( X / Y ) ? ??? p( xi y j ) log2 p( xi / y j )
i ?1 j ?1 n m

*

Y 对 X 的平均互信息是对 Y 一无所知的情况下,X 的先验不定度与收到 Y 后

关于 X 的后验不定度之差, 即收到 Y 前、 后关于 X 的不确定度减少的量。H(X/Y) 表示收到随机变量 Y 后,对随机变量 X 仍然存在的不确定度,这是 Y 关于 X 的后验不定度, 通常称它为信道疑义度或损失熵(代表了在信道中损失的信息)

(2)X 对 Y 的平均互信息
I (Y ; X ) ? ?? p( xi y j )I ( y j ; xi ) ? ?? p( xi y j ) log2
i ?1 j ?1 n m i ?1 j ?1 n m n m

p( y j / xi ) p( y j )

*

X对Y

的平均

n m 1 1 互信息 ? ?? p( xi y j ) log2 ? ?? p( xi y j ) log2 p( yi ) i ?1 j ?1 p( y j / xi ) i ?1 j ?1

? H (Y ) ? H (Y / X ) 其中条件熵: H (Y / X ) ? ??? p( xi y j ) log2 p( y j / xi )
i ?1 j ?1 n m

是 Y 的先 验不定 度与发 出 X 后关

于 Y 的后验不定度之差,即发 X 前、后关于 Y 的不确定度减少的量。H(Y/X)

表示发出随机变量 X 后,对随机变量 Y 仍然存在的平均不确定度,常被称为噪 声熵。

(3) Y 对 X 的平均互信息
I ( X ; Y ) ? ?? p( xi y j )I ( xi ; y j ) ? ?? p( xi y j ) log2
i ?1 j ?1 n m i ?1 j ?1 n m n m

p( xi y j ) p( xi ) p( y j )

n m 1 1 ? ?? p( xi y j ) log2 ? ?? p( xi y j ) log2 p( xi ) i ?1 j ?1 p( y j ) i ?1 j ?1

? ?? p( xi y j ) log2
i ?1 j ?1

n

m

1 p( xi y j )

? H ( X ) ? H (Y ) ? H ( XY ) 其中联合熵: H ( XY ) ? ??? p( xi y j ) log2 p( xi y j )
i ?1 j ?1 n m

*

信道两端随机变量 X,Y 之间的平均互信息量等于通信前、后整个系统不确

定度减少的量。联合熵表示输入随机变量 X,经信道传输到达信宿,输出随机 变量 Y,即收发双方通信后,整个系统仍然存在的不确定度。如果在通信前, 我们把 X,Y 看成是两个独立的随机变量,那么通信前,整个系统的先验不定 度即 X 和 Y 的联合熵等于 H(X)+H(Y);通信后,我们把信道两端同时出现 X 和 Y 看成是由信道的传递统计特性联系起来的具有一定统计关联关系的两个随 机变量,这时整个系统的后验不定度由 H(XY)描述。
X [ 例 2.1.5] 将已知信源 ? ? ? ? x1 ? ? ?0.5 P ( X ) ? ? ? x2 ? ? 接到下图所示的信道 0.5?

上,求在该信道上传输的平均互信息量 I(X;Y) 、疑义度 H(X/Y)、噪声熵 H(Y/X)和联合熵 H(XY)。

x1
0.02

0.98

y1

0.2

x2

0.8

y2

解: (1)由 P( xi y j ) ? p( xi ) p( y j / xi ), 求出各联合概率:
p( x1 y1 ) ? p( x1 ) p( y1 / x1 ) ? 0.5 ? 0.98 ? 0.49 p( x1 y2 ) ? p( x1 ) p( y2 / x1 ) ? 0.5 ? 0.02 ? 0.01 p( x2 y1 ) ? p( x2 ) p( y1 / x2 ) ? 0.5 ? 0.20 ? 0.10 p( x2 y2 ) ? p( x2 ) p( y2 / x2 ) ? 0.5 ? 0.80 ? 0.40

(2)由 P( y j ) ? ? P( xi y j ), 得到
i ?1

n

Y 集各消息概率:

p( y1 ) ? ? P( xi y1 ) ? p( x1 y1 ) ? p( x2 y1 ) ? 0.49 ? 0.10 ? 0.59
i ?1

2

p( y2 ) ? 1 ? p( y1 ) ? 1 ? 0.59 ? 0.41

(3)由 p( x

i

/ yj) ?

p ( xi y j ) p( y j )

,得到 X 的各后验概率:
p( x1 y1 ) 0.49 ? ? 0.831 p( y1 ) 0.59

p( x1 / y1 ) ?

p( x2 / y1 ) ? 1 ? p( x1 / y1 ) ? 0.169

同样可推出 p( x1 / y2 ) ? 0.024, p( x2 / y2 ) ? 0.976 (4) H ( X ) ? ?? p( xi ) log2 p( xi ) ? ?{0.5 log2 0.5 ? 0.5 log2 0.5} ? 1(比特 / 符号)
i ?1 2

H (Y ) ? ?? p( yi ) log2 p( yi ) ? ?{0.59log2 0.59 ? 0.41log2 0.41 }
i ?1

2

=0.98(比特/符号)
H ( XY ) ? ??? p( xi y j ) log2 p( xi y j )
i ?1 j ?1 n m

? ?{0.49log2 0.49 ? 0.01log2 0.01? 0.10log2 0.10 ? 0.40log2 0.40}
= 1.43(比特/符号)

(5)平均互信息
I ( X ; Y ) ? H ( X ) ? H (Y ) ? H ( XY ) ? 1 ? 0.98 ? 1.43 ? 0.55(比特/ 符号)

(6)疑义度
H(X / Y) ? ??? p( xi y j ) log2 p( xi / y j )
i ?1 j ?1 2 2

? ?{0.49log2 0.831? 0.01log2 0.024? 0.10log2 0.169? 0.40log2 0.976 } ? 0.45(比特 / 符号)

(7)噪声熵
H(Y / X) ? ??? p( xi y j ) log2 p( y j / xi )
i ?1 j ?1 2 2

? ?{0.49log2 0.98 ? 0.01log2 0.02 ? 0.10log2 0.20 ? 0.40log2 0.80}
? 0.43(比特 / 符号)

? 平均互信息的性质-非负性 先前考虑两个具体消息 xi 和y j 之间的互信息量 I ( xi ; y j ) 时, 可能出现负值。 而平均互信息量不是从两个具体消息出发, 而是从随机变量 X 和 Y 的整体角度出发,并在平均意义上 观察问题,所以平均互信息量不会出现负值。

? I ( X ; Y ) ? ??? p ( xi y j ) log2
i ?1 j ?1 m

n

m

p ( xi y j ) p ( xi ) p ( y j ) p ( xi y j )

? ?? p ( xi y j ) log2
i ?1 j ?1 n m

n

p ( xi ) p ( y j )

? p ( xi ) p ( y j ) ? ? ?? p ( xi y j ) ? ? 1? log2 e i ?1 j ?1 ? p ( xi y j ) ? ? ? ? n ? ?? ? i ?1 ? p ( x ) p ( y ) ? p ( x y ) ? ?? i j i j ? log2 e j ?1 i ?1 j ?1 ?
m n m

m n m ? n ? ? ?? p ( xi )? p ( y j ) ? ?? p ( xi y j ) ? log2 e j ?1 i ?1 j ?1 ? i ?1 ? ?0

即I ( X ; Y ) ? 0

当且仅当 X 和 Y 相互独立时,等号成立。 ? 凸函数性
I ( X ;Y ) ? ?
n m

?? p( x y
i ?1 j ?1 n m i i ?1 j ?1 i

j

) log2

p ( y j / xi ) p( y j ) p( y j / xi )

?? p( x ) p( y

j

/ xi ) log2

? p( x ) p( y
i ?1 i

n

j

/ xi )

显然平均互信息是信源概率分布 p( xi )(i ? 1,2,?, n) 和表示输入 输出之间关系的条件概率或称信道传递概率分布

p( y j / xi )(i ? 1,2,?, n; j ? 1,2,?, m) 的函数。
若固定信道,调整信源: I ( X ; Y ) ? f [ p( xi )] 若固定信源,调整信道: I ( X ; Y ) ? f [ p( y j / xi )] (1)平均互信息是输入信源概率分布 p( xi ) 的上凸函数

所谓上凸函数,是指同一信源集合 {x1, x2 ?, xn } ,对应两个 不同的概率分布 p1 ( xi ) 和 p2 ( xi )(i ? 1,2,?, n) ,若有小于 1 的正 数 0 ? ? ? 1,使不等式
f [?p1 ( xi ) ? (1 ? ? ) p2 ( xi )] ? ?f [ p1 ( xi )] ? (1 ? ? ) f [ p2 ( xi )]

成立,则称函数 f 为 p( xi ) 的上凸函数。 令 p3 ( xi ) ? ?p1 ( xi ) ? (1 ?? ) p2 ( xi ) , 因 p3 ( xi ) 是 p1 ( xi ) 和 p2 ( xi ) 的线性 组合, p3 ( xi ) 构成一个新的概率分布(参见上节熵的上凸性的 证明) 。当固定信道特性为 p0 ( y j / xi ) 时,由 p3 ( xi ) 确定的平均互 信息为
I [ p3 ( xi )] ? f [?p1 ( xi ) ? (1 ? ? ) p 2 ( xi )] ? ? ? ? p 0 ( y j / xi ) ? ? ?? p3 ( xi ) p 0 ( y j / xi ) log2 ? n ? p (x ) p ( y / x ) ? i ?1 j ?1 ? 3 i 0 j i ? ? ? i ?1 ?
n m

? ? ? ? p 0 ( y j / xi ) ? ? ?? [?p1 ( xi ) ? (1 ? ? ) p 2 ( xi )] p 0 ( y j / xi ) log2 ? n ? i ?1 j ?1 [?p1 ( xi ) ? (1 ? ? ) p 2 ( xi )] p 0 ( y j / xi ) ? ? ? ? ? i ?1 ? n ? ? ? ? [?p1 ( xi ) ? (1 ? ? ) p 2 ( xi )] p 0 ( y j / xi ) ? n m ? ? ??? [?p1 ( xi ) ? (1 ? ? ) p 2 ( xi )] p 0 ( y j / xi ) log2 ? i ?1 p 0 ( y j / xi ) ? ? i ?1 j ?1 ? ? ? ?
n m

? ?? ?? p1 ( xi ) p 0 ( y j / xi ) log2 [?p1 ( y j ) ? (1 ? ? ) p 2 ( y j )] ?
i ?1 j ?1

n

m

(1 ? ? )?? p 2 ( xi ) p 0 ( y j / xi ) log2 [?p1 ( y j ) ? (1 ? ? ) p 2 ( y j )] ?
i ?1 j ?1

n

m

?? [?p ( x ) ? (1 ? ? ) p
i ?1 j ?1 1 i

n

m

2

( xi )] p 0 ( y j / xi ) log2 p 0 ( y j / xi )

根据熵的极值性 ? ? p( xi ) log2 q( xi ) ? ?? p( xi ) log2 p( xi ) 有
i ?1 i ?1

n

n

m ? n ? ? ? ?? p1 ( xi ) p 0 ( y j / xi )? log2 [?p1 ( y j ) ? (1 ? ? ) p 2 ( y j )] ? ?? p1 ( y j ) log2 p1 ( y j ) j ?1 ? i ?1 j ?1 ? m m m ? n ? ? ? ?? p 2 ( xi ) p 0 ( y j / xi )? log2 [?p1 ( y j ) ? (1 ? ? ) p 2 ( y j )] ? ?? p 2 ( y j ) log2 p 2 ( y j ) j ?1 ? i ?1 j ?1 ?

代入上式有
I [ p3 ( xi )] ? ?? ? p1 ( y j ) log2 p1 ( y j ) ? (1 ? ? )? p2 ( y j ) log2 p2 ( y j ) ?
j ?1 j ?1 m m

?? [?p ( x ) ? (1 ? ? ) p ( x )] p ( y
i ?1 j ?1 n 1 i 2 i 0

n

m

j

/ xi ) log2 p0 ( y j / xi ) ?

? ? ?? p1 ( xi ) p0 ( y j / xi ) log2
i ?1 j ?1 n m

m

p0 ( y j / xi ) p1 ( y j )

(1 ? ? )?? p2 ( xi ) p0 ( y j / xi ) log2
i ?1 j ?1

p0 ( y j / xi ) p2 ( y j )

? ?I [ p1 ( xi )] ? (1 ? ? ) I [ p2 ( xi )]

仅当 p3 ( xi ) = p1 ( xi ) = p2 ( xi ) 时,等号成立,一般情况下

I [ p3 ( xi )] ? ?I [ p1 ( xi )] ? (1 ? ? ) I [ p2 ( xi )]
(2)平均互信息是信道转移概率 p( y j / xi ) 的下凸函数 固定信源 p( xi ) ,通过调整信道 p( y j / xi ) 而得;即有两个不 同的信道特性 p1 ( y j / xi ) 和 p2 ( y j / xi ) 将信道两端的输入和输出 即 X 和 Y 联系起来,如果用小于 1 的正数 0 ? ? ? 1 对 p1 ( y j / xi ) 和 p2 ( y j / xi ) 进 行 线 性 组 合 , 得 到 信 道 特 性 :

p3 ( y j / xi ) ? ?p1 ( y j / xi ) ? (1- ? ) p2 ( y j / xi ) 。所谓下凸函数即

I [ p3 ( y j / xi )] ? I [?p1 ( y j / xi ) ? (1 ? ? ) p2 ( y j / xi )] ??I [ p1 ( y j / xi )] ? (1 ? ? ) I [ p2 ( y j / xi )]

证法二:互信息 I(U;V)是 pi ? p(ui ) 的上凸( ? 凸)函数;是
Pji ? P(v j / ui ) 的下凸( ? 凸)函数。

证明:为了证明方便,我们将互信息改写为:
I (U ; V ) ? H (V ) ? H (V / U ) ? ??? pi Pji log
i j

qj Pji

? ??? pi Pji log
i j

?pP
i i

ji

Pji

? I ( pi , Pji )
o 当条件概率 Pji 不变时, Pji ? Pji , o ) ? I ( pi ) 这时, I ( pi , Pji ) ? I ( pi , Pji

? ' '' ? ' '' 设: pi ? ? pi ? (1 ? ? ) pi ,即 pi 为 pi 与 pi 内插值,

其中 0 ? ? ? 1 ,这时有
? o ' '' o ' '' q? j ? ? pi Pji ? ?[? pi ? (1 ? ? ) pi ]Pji ? ? q j ? (1 ? ? )q j
i i

所以要证明 I ( pi ) 是 pi 的上凸函数,只需证: (按上凸函数定义)
? I ( pi' ) ? (1 ? ? )I ( pi'' ) ? I[? pi' ? (1 ? ? ) pi'' ] ,即:

? I ( pi' ) ? (1 ? ? ) I ( pi'' ) ? I [? pi' ? (1 ? ? ) pi'' ]
? ? ?? p P log
' i o ji i j ' i o Pji

[? pi' ? (1 ? ? ) pi'' ? pi? ]
o Pji

q 'j

? (1 ? ? )?? p P log
'' i o ji i j '' i o ji o Pji

q 'j'

? ?? [? p ? (1 ? ? ) p ]P log
i j

q?j
'' i o ji o ? Pji qj o q 'j' Pji

? ? ?? p P log
' i o ji i j

o ? Pji qj o q 'j Pji

? (1 ? ? )?? p P log
i j

~~~~~~~ ~~

~~~~~~~ ~~

E

f
' i o ji

E

f
'' i o ji

? ? log ? (? p P )
j i j

q?j q 'j

? (1 ? ? ) log ? (? p P )
j i j

q?j q 'j'

Jensen不等式

? ? log ? q?j ? (1 ? ? ) log ? q? j ? ? log 1 ? (1 ? ? ) log 1 ? 0

上凸性得证。
o 再证下凸性,这时,可认为 pi ? pi 为不变值,

则 I ( pi , Pji ) ? I ( pi , Pji ) ? I (Pji )
o

? ' '' 同理,可设: Pji ? ? Pji ? (1 ? ? )Pji

0 ? ? ? 1,


? ' '' q?j ? ? pio Pji ? ? pio[? Pji ? (1 ? ? ) Pji ]
i i

? ? q 'j ? (1 ? ? )q 'j'

要证下凸性,只需证
' '' ' '' I[? Pji ? (1 ?? )Pji ] ? ? I (Pji ) ? (1 ?? )I (Pji ) ,即:

' '' ' '' I [? Pji ? (1 ? ? ) Pji ] ? [? I ( Pji ) ? (1 ? ? ) I ( Pji )]

? ?? [? P ? (1 ? ? ) P ] p log
' ji '' ji o i i j

? Pji

q?j
o i '' ji '' Pji

? ? ?? p P log
o i ' ji i j

' Pji

q 'j

? (1 ? ? )?? p P log
i j o i '' ji

q 'j'
? '' Pji qj
'' q?j Pji

? ? ?? p P log
o i ' ji i j

? ' Pji qj
' q?j Pji

? (1 ? ? )?? p P log
i j

~~~~~~~ ~~

~~~~~~~ ~~

E
o i

f
' ji

E
? ' Pji qj
' q?j Pji

f
o i '' ji

? ? log ?? p P
i j o i

? (1 ? ? ) log ?? p P
i j o i

? '' Pji qj
'' q?j Pji

Jensen不等式

? ? log ? (? p Pji )
?
j i j

q 'j q?j

? (1 ? ? ) log ? (? p Pji )
?
j i j

q 'j' q?j

? ? log ? q 'j ? (1 ? ? ) log ? q 'j' ? ? log1 ? (1 ? ? ) log1 ? 0

下凸性亦得证。 [例 2.1.6]设二进制对称信道的输入概率空间为
X P(x) 0 ,1 p,1-p

信道转移概率如下图 q 1-q 1-q 0

0

1 q

1

由信道特性决定的条件熵:
H (Y / X ) ? ?? ? p ( xi ) p ( y j / xi ) log2 p ( y j / xi )
i ?1 j ?1 2 2

? ?

? p( x ){?[q] l
i ?1 2 i

2

o 2g q ? q l o 2g q}

? p( x ) H (q)
i ?1 i

? H (q)

由 p( y j ) ? ? p( xi ) p( y j / xi ) 可求得
i ?1

n

p( y1 ) ? P(Y ? 0) ? pq ? pq p( y2 ) ? P(Y ? 1) ? pq ? pq

平均互信息量
I ( X ;Y ) ? H (Y ) ? H (Y / X ) ? H ( pq ? pq) ? H (q) …(1)

在式(1)中,当 q 不变即固定信道特性时,可得 I ( X ; Y ) 随输 入概率 p 变化的曲线,如下图所示。由图可见,二进制对称 信道特性固定后,输入呈等概率分布时,平均而言在接收端 可获得最大信息量。
I ( X ;Y )

1-H(q)

0

0.5

1

p

在式(1)中,当固定信源特性 p 时,平均互信息量 I ( X ; Y ) 就 是信道特性 q 的函数,其随 q 变化的曲线如下图所示。由图 可见,当二进制对称信道特性 q = q = 2 时,信道输出端获得 信息量最小,即等于 0。说明信源的全部信息都损失在信道 中了。这是一种最差的信道。
I ( X ;Y )
1

H(p)

0 ? 数据处理定理

0.5

1

q

信息不增性原理:在任何信息传输系统中,最后获得的信息 至多是信源所提供的信息。
H ( X ) ? I ( X ; Y ) ? I ( X ; Z ) ? I ( X ;W ) ? ?

X
信道 I

Y
信道 II

Z
信道 III

W

?I ( X ; Z ) ? I (Y ; Z ) 证明: ?I ( X ; Z ) ? I ( X ; Y ) 假设 Y 条件下 X 与 Z 独立 ?

证明:对式
I ( xi ; y j zk ) ? log2 p( xi / y j zk ) p( xi ) p( xi / y j zk ) p( xi / zk )

I ( xi ; y j / zk ) ? log2

求数学期望得到 X 与 YZ 之间的平均互信息量和 Z 已知条件 下, X 和 Y 之间的条件平均互信息量
I ( X ; YZ ) ? E[ I ( xi ; y j z k )]

? ??? p( xi y j z k ) log2
i ?1 j ?1 k ?1

n

m

L

p ( xi / y j z k ) p ( xi )

? ?? p( xi ) log2 p( xi ) ? H ( X / YZ )
i ?1

n

? H ( X ) ? H ( X / YZ )
m L

… (1)

其中 ?? p( xi y j z k ) ? p( xi )
j ?1 k ?1

I ( X ;Y / Z ) ? E[I ( xi ; y j / zk )] ?
n m L

??? p( x y z ) log
i ?1 j ?1 k ?1 i j k

n

m

L

p ( xi / y j z k ) p ( xi / z k )

2

? ???? p( xi y j zk ) log 2 p( xi / zk ) ???? p( xi y j zk ) log 2 p( xi / y j zk )
i ?1 j ?1 k ?1 i ?1 j ?1 k ?1

n

m

L

? ???? p( xi y j z k ) log 2 p( xi / z k ) ? H ( X / YZ )
i ?1 j ?1 k ?1

n

m

L

? H ( X / Z ) ? H ( X / YZ )

…(2)

其中 ? p( xi y j z k ) ? p(xi z k ) 。
j ?1

m

式(1)减去(2)得到

I ( X ; Z ) ? I ( X ; YZ ) ? I ( X ; Y / Z )
同理可得

…(3) …(4)

I ( X ;Y ) ? I ( X ;YZ ) ? I ( X ; Z / Y )
由式(4)得

因为已假设在 Y 条件下 X 与 z 相互独立,故有 I ( X ; Z / Y ) =0,

I ( X ;Y ) ? I ( X ;YZ )
(5)代入式(3)

…(5)

I ( X ; Z ) ? I ( X ;Y ) ? I ( X ;Y / Z )
考虑到 I ( X ;Y / Z ) 为非负量,则有

I ( X ; Z ) ? I ( X ;Y )
同理可得

I ( X ; Z ) ? I (Y ; Z )
结论:两级串联信道输入与输出消息之间的平均互信息量既 不会超过第 I 级信道输入与输出之间的平均互信息量,也不 会超过第 II 级信道输入与输出之间的平均互信息量。 数据处 理定理说明-当对信号、数据或消息进行多级处理时,每处理 一次,就有可能损失一部分信息,也就是说数据处理会把信 号、数据或消息变成更有用的形式,但是决不会创造出新的 信息。此即信息不增原理。如果我们想通过 Y 尽可能多地获

得关于 X 的消息,也就是想增加互信息量,必须付出代价。 思考??? 至此,我们已讨论了熵 H(U)、H(V),条件熵 H(U/V)、 H(V/U),联合熵 H(U,V)以及互信息 I(U;V),它们之间可以用 下列形象、直观图形表示: H(U,V)

H(U/V)

I(U;V) H(V/U)

H(U) H(V)

作业二 [习题 5].证明平稳信源有 H ( X 3 | X 1 X 2 ) ? H ( X 2 | X1 ) ,并说明等式成 立的条件。 (pp71 2.16) [ 习题 6]. 证明 H ( X 1 X 2 ? X N ) ? H ( X 1 ) ? H ( X 2 ) ? ?H ( X N ) ( pp71 2.17) [习题 7].设有一个信源,它产生 0、1 序列的消息。它在任 意时间而且不论以前发生过什么符号,均按 P(0) =0.4,P(1)=0.6 的概率发出信号。 (1) 试问这个信源是否平稳的?
2 lim H N ( X ) 。 (2) 试计算 H ( X ), H ( X 3 | X1 X 2 ) 及 N ??

(3) 试 计 算 H ( X 4 ) 并 写 出 X 4 信 源 中 可 能 有 的 所 有 符 号 。 (pp71 2.18) [习题 8]. 一阶马尔可夫信源的状态图如下图所示, 信源 X 的 符号集为{0,1,2}。 (pp71 2.23) (1) 求平稳后信源的概率分布。 (2) 求信源的熵 H ? 。 (3) 求当 p ? 0 和 p ? 1 时信源的熵,并说明其理由。

0

1

2


更多相关文档:

Ch2例题与证明二.doc

Ch2例题与证明二 - ? 平均互信息的物理意义 (1)Y 对 X 的平均互信息

CH2例题与证明二.txt

CH2例题与证明二 - ? 平均互信息的物理意义 (1)Y对X的平均互信息 I(

Ch2例题与证明三.doc

Ch2例题与证明三 - ? 离散平稳无记忆信源 X 的 N 次扩展信源的熵为离散

Ch2例题与证明四.doc

这里,我们仍将 Hc(U)定义为连 续信源的熵,理由有二:一是由于它在形式 上...H c (Y ) ? H c ( X / Y ) (2) 下面我们证明式(1)。 H c ( ...

Ch2例题与证明六.doc

Ch2例题与证明六 - [思考题] 已知 12 个球中有一个球的重量与 其它球不

Ch2例题与证明四-1.doc

Ch2例题与证明四-1 - ? 连续熵的性质 1.连续熵可为负值 2.可加性 连

...& Coding信息论与编码(英文版)Ch2例题与证明三.doc

Information Theory & Coding信息论与编码(英文版)Ch2例题与证明三 - ? 离散平稳无记忆信源 X 的 N 次扩展信源的熵为离散 N 信源 X 的熵的 N 倍。 H ...

ch2 例题与习题.doc

ch2 例题与习题 - 例题与思考题 第二章 例题与思考题 1. 氧化镁(MgO

ch2习题.pdf

ch2习题 - 第二章、一元函数微分学 习题课(导数与微分) 一、主要内容 dy

ch2 习题 (1).pdf

ch2 习题 (1)_理学_高等教育_教育专区。Ch2 ...3、证明:若事件

ch2_图文.ppt

ch2 - 第二章 命题逻辑等值演算 北京理工大学 计算机学院 刘琼昕 主要内容

ch2-6(习题课) [兼容模式]_图文.pdf

ch2-6(习题课) [兼容模式] - 第二章 导数与微分习题课 主要内容 典型例题 一、 导数和微分的概念及应用 ? 导数 : 当当 ? 微分 : ? 关系 : 可导 可...

线代CH2复习及测.._图文.ppt

线代CH2复习及测.. - 第二章 行列式 复习及测试 一、主要内容 二、典型例题 三、测验题 一、主要内容 1、排列 2、逆序数及其计算方法 3、n 阶行列式的...

Ch2-4_图文.ppt

二项分布的期望与方差可以证明,二项分布的期望与方差为: ? (1) EX=np ? (2) DX=npq 例题和解答:例1、某人投篮命中率为0.8,若连续投篮5次,求最 多投...

代数CH2习题课(讲)_图文.ppt

R ( AB ) ? n 证明等式 习题 6、矩阵的初等变换初等行(或列)变换 (1) ...二、例题分析 ? 1. 矩阵的运算 ? 2. 矩阵的行列式计算 ? 3. 求逆矩阵 ?...

离散数学ch2_图文.ppt

离散数学ch2 - 第二章 命题逻辑等值演算 主要内容 ? 等值式与基本的等值式

2010[1].9-ch2 习题 1-21 改正后的_图文.ppt

第二章 均匀系统的热力学性质 习题 2.1 已知在体积保持不变时,一气体的压强正比于其绝对温度。 已知在体积保持不变时,一气体的压强正比于其绝对温度。 试证明...

ch2s3_图文.ppt

ch2s3 - ch2s3-1 第三节 戴维南定理与诺顿定理 线性二端电路的最简形式 ch2s3-2 戴维南定理 等效电阻 (独立源置零) 独立源置零) I R0 V I V ...

ch2_图文.ppt

ch2 - 第二章 命题逻辑等值演算 主要内容 ? 等值式与基本的等值式 ? 等

离散数学ch2[1]命题演算_图文.ppt

给定二个命题公式, A(P1,P2...Pn),B(P1,P2...2 例题 已知: P∨(P∧Q)P P∧(P∨Q) ∧∨...永真蕴含证明蕴含式PQ的几个方法: 1)根据定义用真...

更多相关标签:
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com