当前位置:首页 >> 其它课程 >> 信息论—03

信息论—03


信息传输系统示意图

信源

编码器

信道

译码器

信宿

信道是重要的信息传输通道。研究信道就是研究它能 够传输的最大信息量。

离散信道及其信道容量 ? ? ? ? ? 信道的数学模型及分类 平均互信息*与平均条件互信息 信道容量

*及其一般计算方法 独立并联信道及其信道容量 信源与信道的匹配

1. 信道的数学模型及分类
信道的分类
用户数 输入与输出的 关系
与时间的关系 输入、输出信 号的特点

两端(单用户)信道 多端(多用户)信道 无反馈信道 有反馈信道 固定参数信道 时变参数信道
离散信道、连续信道、半离散 或半连续信道、波形信道

离散信道的数学模型
X
X ? ( X1 ,?, X i ,? X N )

信道
P( y | x )

Y
Y ? (Y1,?, Yi ,?YN )

三种信道: 1. 无干扰(无噪)信道
y ? f (x)
?1 P( y | x ) ? ? ?0 y ? f ( x) y ? f ( x)

X : [a1 ,?ar ]

Y : [b1 ,?bs ]

? P( y | x) ? 1
y

2. 有干扰无记忆信道 无记忆信道的充要条件
P( y | x ) ? P( y1 y2 ? y N | x1 x2 ? xN ) ? ? P( yi | xi )
i ?1 N

3. 有干扰有记忆信道

单符号离散信道的数学模型
信道的传递概率(转移概率)
P( y | x) ? P( y ? b j | x ? ai ) ? P(bj | ai )
i ? 1,2,?, r j ? 1,2,?, s

且满足

? P(b
j

j

| ai ) ? 1

b1 ? ? a1 ?a b2 ? ? ? X ? 2 ? P (b j | ai ) ? ?Y ?? ?? ? ar bs ? ? ?

二元对称信道(BSC)
a1 ? 0
p

1? p
p

0 ? b1

X : {0,1}

Y : {0,1}
1? p

a2 ? 1

1 ? b2

用矩阵来表示

0 1 0 ?1 ? p p ? 1 ? p 1 ? p? ? ?

且满足

? P(b
j ?1

2

j

| a1 ) ? ? P(b j | a2 ) ? 1
j ?1

2

离散信道传递矩阵
b1

b2

?

b3

a1 a2 ? ar

? P (b1 | a1 ) P (b2 | a1 ) ? P (bs | a1 ) ? ? P (b | a ) P (b | a ) ? P (b | a )? 2 2 s 2 ? ? 1 2 ? ? ? ? ? ? ? ? P (b1 | ar ) P (b2 | ar ) ? P (bs | ar ) ? ? p11 ?p P ? ? 21 ? ? ? ? pr 1 p12 p22 ? pr 2 p1s ? ? p2 s ? ? ? ? ? ? prs ? ?

2. 平均互信息及平均条件互信息
接收到输出符号 y ? b j 后,输入符号的平均不确定性为

1 1 H ( X | b j ) ? ? P(ai | b j ) log ? ? P( x | b j ) log P(ai | b j ) x P( x | b j ) i ?1
信道疑义度

r

1 H ( X | Y ) ? ? P(b j ) H ( X | b j ) ?? P(b j )? P(ai | b j ) log P(ai | b j ) j ?1 j ?1 i ?1 1 1 ? ?? P(ai b j ) log ? ? P( xy) log P(ai | b j ) XY P( x | y ) i ?1 j ?1
r s

s

s

r

平均互信息
I ( X ;Y ) ? H ( X ) ? H ( X | Y )
1 1 I ( X ; Y ) ? ? P( x) log ? ? P( xy) log P( x) X ,Y P( x | y ) X P( y | x) ? ? P( xy) log P( y ) X ,Y
对于单个事件

1 1 I ( x; y ) ? log ? log P( x) P( x | y ) P( x | y ) P( xy) P( y | x) ? log ? log ? log P( x) P( x) P( y ) P( y )

互信息与输入、输出信号熵的关系

I ( X ;Y ) ? H ( X ) ? H ( X | Y ) ? H ( X ) ? H (Y ) ? H ( XY ) ? H (Y ) ? H (Y | X )

维拉图

损失熵 噪声熵

H ( X | Y ) ? H ( X ) ? I ( X ;Y ) H (Y | X ) ? H (Y ) ? I ( X ; Y )

平均条件互信息
x
信道1

y

信道2

z

已知z的条件下,接收到y后获得关于x的条件互信息

1 1 I ( x; y | z ) ? log ? log P( x | z ) P( x | yz) P( x | yz) P( xy | z ) ? log ? log P( x | z ) P( x | z ) P( y | z )

已知y,z的条件下,总共获得关于x的互信息

P( x | yz) P( x | y ) P( x | yz) I ( x; yz) ? log ? log ? log P( x) P( x) P( x | y ) ? I ( x; y ) ? I ( x; z | y)
同样

I ( x; yz) ? I ( x; z ) ? I ( x; y | z )
求统计平均,可得

I ( X ; Y | Z ) ? H ( X | Z ) ? H ( X | YZ )

I ( X ; YZ ) ? I ( X ; Y ) ? I ( X ; Z | Y ) ? I ( X ; Z ) ? I ( X ;Y | Z )

例题
设信源
? x ? ? x1 , x2 ? ? P( x)? ? ?0.6, 0.4? ? ? ? ?
2

x1

5/ 6 1/ 6 3/ 4

y1

通过一干扰信道,接收符号为 Y ? [ y1 , y ],
信道传递概率如图所示,求
x2

1/ 4

y2

1) 信源 X 中事件 x1 和 x2 分别含有的自信息。
2)收到消息 y j ( j ? 1,2)后,获得的关于 xi (i ? 1,2) 的信息量。

3)信源 X 和 信源 Y 的信息熵。 4)信道疑义度 H ( X | Y ) 和噪声熵 H (Y | X ) 。
5)收到信息 Y 后获得的平均互信息。

1) 事件 x1 含有的自信息

I ( x1 ) ? ? log P( x1 ) ? ? log0.6 ? 0.737 比特
事件 x2 含有的自信息

I ( x2 ) ? ? log P( x2 ) ? ? log0.4 ? 1.32
2) 互信息公式
I ( xi ; y j ) ? log P( xi | y j ) P( xi ) ? log P( y j | xi ) P( y i )

比特

P( y j ) ? ? P( xi ) P( y j | xi )
X

所以可得

P( y1 ) ? 0.8

P( y2 ) ? 0.2

则 I ( x1; y1 ) ? 0.059 比特 I ( x1; y2 ) ? ?0.263 比特
I ( x2 ; y1 ) ? ?0.093 比特 I ( x2 ; y2 ) ? 0.322 比特

3 信源 X 与 Y 的信息熵

H ( X ) ? ?? P( xi ) log P( xi ) ? 0.971 H (Y ) ? ?? P( yi ) log P( yi ) ? 0.722
i ?1 i ?1 2

2

比特/符号

比特/符号

4 信道疑义度
1 H ( X | Y ) ? ??? P( xi ) P( y j | xi ) log P( xi | y j ) i ?1 j ?1
2 2

而 P( x1 | y1 ) ?

P( x1 ) P( y1 | x1 ) 5 ? P( y1 ) 8

P( x2 | y1 ) ?

P( x2 ) P( y1 | x2 ) 3 ? P( y1 ) 8

P( x1 ) P( y2 | x1 ) 1 P( x1 | y2 ) ? ? P( y2 ) 2

P( x2 ) P( y2 | x2 ) 1 P( x2 | y2 ) ? ? P( y2 ) 2

可得
H ( X | Y ) ? ? P( x1 ) P( y1 | x1 ) log P( x1 | y1 ) ? P( x2 ) P( y1 | x 2 ) log P( x2 | y1 ) ? P( x1 ) P( y2 | x1 ) log P( x1 | y2 ) ? P( x2 ) P( y2 | x2 ) log P( x2 | y2 ) ? 0.9635 比特/符号

噪声熵
H (Y | X ) ? ??? P( xi ) P( y j | xi ) log(P( y j | xi ) ? 0.7145 比特/符号
i ?1 j ?1 2 2

5 收到信息 Y 后获得的平均互信息
I ( X ; Y ) ? H ( X ) ? H ( X | Y ) ? 0.0075

比特/符号

例题
四个等概率分布的消息 M1 , M 2 , M 3 , M 4 被送入一个二 元无记忆对称信道进行传送。通过编码使
M1 ? 00, M 2 ? 01, M 3 ? 10, M 4 ? 11

而BSC信道如图所示。试问输入是 M 1和输出第一个符 号是0的互信息是多少?如果知道第二个符号也是0, 这时带来多少附加信息量?
0

p
p p

0

1

1

p

P( M 1 ) ? P( M 2 ) ? P( M 3 ) ? P( M 4 ) ?

1 4

P(0 | M1 ) ? P(0 | 0) ? p

输入是 M 1 和输出符号是0的互信息
I (M1;0) ? log P( M 1 0) P(M1 ) P(0)
1 p 4

P( M 1 0) ? P( M 1 ) ? P(0 | M 1 ) ?

P(0) ? ? P( M i )P(0 | M i ) ?
i ?1

4

1 1 1 1 1 p? p? p? p ? 4 4 4 4 2

所以
I (M1;0) ? log P(M 1 0) P(M1 ) P(0) ? 1 ? log p

比特

第二个符号是0带来的附加信息量是

I (M1;0 | 0) ? I (M1;00) ? I (M1;0)

I ( M1;00) ? log P( M 1 00) P( M1 ) P(00)

1 2 P( M 1 00) ? P( M 1 ) ? P(00 | M 1 ) ? p 4 因为信道是无记忆信道

P(00 | M1 ) ? P(00 | 00) ? P(0 | 0) P(0 | 0) ? p 4 1 P(00) ? ? P( M i )P(00 | M i ) ? 4 i ?1
所以

2

I (M1;0 | 0) ? I (M1;00) ? I (M1;0) ? 1 ? log p

比特

平均互信息的特性
1 平均互信息的非负性

I ( X ;Y ) ? 0
2 平均互信息的极值性

I ( X ;Y ) ? H ( X )
3 平均互信息的交互性(对称性)

I ( X ; Y ) ? I (Y ; X )
4 平均互信息的凸状性
a.平均互信息是输入信源的概率分布的 ? 型凸函数

b.平均互信息是信道传递概率分布的 ? 型凸函数

3.3 信道容量及其计算方法
信道容量就是信道的最大信息传输率(平均每个符号所能传送 的信息量)

C ? max{I ( X , Y )}
P( x)

物理意义: 信道传输的最大信息量,只与信道的统计特性有关。 对应的输入概率分布称为最佳输入分布。

离散无噪、无损信道的的信道容量
对于无噪无损信道 互信息
I ( X ; Y ) ? H ( X ) ? H (Y )
P( x)

损失熵

H ( X | Y ) ? H ( X ) ? I ( X ;Y )
噪声熵

信道容量 C ? max H ( X ) ? log r 对于有噪无损信道 互信息 信道容量
I ( X ; Y ) ? H ( X ) ? H (Y )

H (Y | X ) ? H (Y ) ? I ( X ; Y )

C ? max H ( X ) ? log r
P( x)

对于无噪有损信道
互信息 信道容量
I ( X ; Y ) ? H (Y ) ? H ( X )

C ? max H (Y ) ? log s
P( x)

对称离散信道的信道容量
' ' { p1' , p2 ,? ps } 对称离散信道:信道矩阵中每一行都是由同一
' ' ' 集的诸元素的不同排列组成,并且每一列也都是由 {q1 , q2 ,?qr }

集的诸元素不同排列组成,即信道矩阵中每一行是另一行的 置换,以及每一列是另一列的置换。 信道容量
' C ? max[ H (Y ) ? H ( p1' , p2 ,? ps' )] P( x)

对于对称离散信道,当输入符号 X 达到等概率分布时,则 输出符号 Y 也一定是等概率分布,所以
' ' ' C ? log s ? H ( p1, p2 ,? ps )

例题
某对称离散信道的信道矩阵为

?1 ?3 P?? 1 ? ?6
其信道容量为

1 3 1 6

1 6 1 3

1? 6? 1? ? 3?

' C ? log s ? H ( p1' , p2 ,? ps' )

1 1 1 1 ? log 4 ? H ( , , , ) ? 0.0817 比特/符号 3 3 6 6

准对称信道的信道容量
若信道矩阵 Q 的列可以划分成若干个互不相交的子集 Bk ,即

B1 ? B2 ??? Bn ? ?, B1 ? B1 ??? Bn ? Y
由 Bk 为列组成的矩阵 Qk 是对称矩阵,则称信道矩阵 Q 所 对应的信道为准对称信道。 信道容量
' C ? log r ? H ( p1' , p2 ,? ps' ) ? ? N k log M k k ?1 n

其中

Nk ?

y ?Y k

? P( y | x )
i

M k ? ? P( y | xi )
X

k 为子矩阵的个数

例题
设信道传递矩阵为
1? p ? q
0
p p

0
q

p ? ?1 ? p ? q q P?? p q 1 ? p ? q? ? ?
可计算得
N1 ? 1 ? q
M1 ? 1 ? q
1

2
q

1? p ? q 1

N2 ? q

M 2 ? 2q
n

信道容量为
' C ? log r ? H ( p1' , p 2 ,? p s' ) ? ? N k log M k k ?1

2 ? p log p ? (1 ? p ? q) log(1 ? p ? q) ? (1 ? q) log 1? q

一般离散信道的信道容量
一般离散信道的平均互信息 I ( X ; Y ) 达到极大值(即等于信道 容量)的充要条件是输入概率分布{ pi }满足

?(a) I ( xi ; Y ) ? C ? ?(b) I ( xi ; Y ) ? C

对所有 xi 其 pi ? 0 对所有 xi 其 pi ? 0

C 就是所求的信道容量。

其中

I ( xi ; Y ) ? ? P(b j | ai ) log
j ?1

s

P(b j | ai ) P(b j )

例题
设离散信道如图所示。输入符号集为 {a1 , a2 , a3 , a4 , a5}。 输出符号集为 {b1 , b2 }。 信道矩阵为

?1 ?1 ? P ? ?1 ? 2 ?0 ?0 ?

0? 0? ? 1 ? 2? 1? 1? ?

a1 a2

a3 a4 a5

1 1 0 .5 0 .5 1 1

b1

b2

试求信道的信道容量。

假设输入概率分布为

1 P(a1 ) ? P(a5 ) ? , P(a2 ) ? P(a3 ) ? P(a4 ) ? 0 2 s P(b j | ai ) I ( xi ; Y ) ? ? P(b j | ai ) log P(b j ) j ?1 1 P (b1 ) ? P (b2 ) ? 2
I (a1; Y ) ? I (a2 ;Y ) ? log 2

I (a4 ;Y ) ? I (a5 ;Y ) ? log2
I (a3 ; Y ) ? 0
因此信道容量

C ? 1 比特/符号

离散无记忆扩展信道及其信道容量
对于离散无记忆信道,输入符号集 A ? {a1 , a2 ,?, ar } 输出符号集 B ? {b1 , b2 ,?, br } 信道矩阵为

? p11 ?p P ? ? 21 ? ? ? ? pr 1

p12

?

p22 ? ? pr 2 ?

p1s ? p2 s ? ? ? ? ? prs ?

?P
j ?1

s

ij

?1

(i ? 1,2,? r )

则此信道的离散无记忆扩展信道可以表示为

? ? 11 ? 12 ? ? 1s ? ?? ? ? 22 ? ? 2 s ? 21 ? ?? ? ? ? ? ? ? ? ?? r 1 ? r 2 ? ? r s ?
N N N N N N

满足

??
h ?1

sN

kh

?1

? kh ? P(? h | ? k )

k ? 1,2,?r N

h ? 1,2,? s N

?k ? ak ak ?ak
1 2

N

?h ? bh bh ?bh
1 2

N

所以

? kh ? P( ? h | ? k ) ? ? P(bh | ak )
i ?1
i i

N

离散无记忆扩展信道的信道容量
离散无记忆扩展信道的平均互信息

I ( X ;Y ) ? NI ( X;Y)
当信源也是无记忆时

I ( X ;Y ) ? NI ( X;Y)
离散无记忆扩展信道的信道容量

C ? NI (X;Y)
N

独立并联信道及其信道容量
P( y1 | x1 )

N个独立并联信道的联合概率

X1 X2

信道1 信道2
P( y 2 | x 2 )

Y1

P( y1 y 2 ? y N | x1 x2 ? x N ) ? P( y1 | x1 ) P( y 2 | x2 ) ? P( y N | x N )
联合平均互信息

Y2

?
XN

信道3
P( y N | x N )

Y3

I ( X 1 X 2 ? X N ; Y1Y2 ?YN ) ? ? I ( X i ; Yi )
i ?1

N

信道容量
C1, 2,?, N ? max I ( X 1 X 2 ? X N ; Y1Y2 ?YN ) ? ? Ci
P ( x1?x N ) i ?1 N

串联信道的互信息和数据处理定理
x
信道1

y

信道2

z

对于串联信道,每一级输出矢量只取决于它的输入, 而与更前面的输入无关,则有

I ( X ; Z ) ? I ( X ;Y ) I ( X ; Z ) ? I (Y ; Z )
串联信道的信道容量为 C ? max I ( X ; Z )

信源与信道的匹配
信道剩余度 ? C ? I ( X ; Y )

I ( X ;Y ) 信道相对剩余度 ? 1 ? C

小结
信道的分类 离散信道的数学模型

信道疑义度

1 H ( X | Y ) ? ? P(b j ) H ( X | b j ) ??? P(ai b j ) log P( ai | b j ) j ?1 i ?1 j ?1
平均互信息

s

r

s

P( y | x) I ( X ; Y ) ? ? P( xy) log P( y ) X ,Y

平均互信息的特性 信道容量及计算方法

离散无噪信道
准对称信道

对称离散信道 一般离散信道

独立并联信道及其信道容量
C1, 2,?, N ? max I ( X 1 X 2 ? X N ; Y1Y2 ?YN ) ? ? Ci
P ( x1?x N ) i ?1 N

串联信道的互信息和数据处理定理

I ( X ; Z ) ? I ( X ;Y )

I ( X ; Z ) ? I (Y ; Z )

C ? max I ( X ; Z )

信道剩余度 ? C ? I ( X ; Y )


更多相关文档:

(信息论)定义、定理、常用符号V03

论指称-罗素(1905) 6页 免费如要投诉违规内容,请到百度文库投诉中心;如要提出...(信息论)定义、定理、常用符号V03(信息论)定义、定理、常用符号V03隐藏>> 第...

信息论第三章答案

信息论第三章答案_工学_高等教育_教育专区。?2 1? ? ? 3.2.设二元对称信道...=0.1*0.4+0.3*0.1+0.2*0.2+0.4*0.2=0.04+0.03+0.04+0.0...

北京邮电大学信息论实验3

北京邮电大学信息与通信工程学院 信息论实验 信息论实验· 第三次实验报告题目一...? ? 每个符号对应的概率: 0 0 0 0 0 0 0 0 0 0 5.453837e-03 0 ...

信息论考试卷及答案

信息论考试卷及答案_互联网_IT/计算机_专业资料。考试科目名称:信息论 一. ...文档贡献者 中北青年27 贡献于2016-04-03 1/2 相关文档推荐 ...

信息论试卷含答案

文档信息举报文档 ylllyf贡献于2013-03-12 0.0分 (0人评价)暂无用户评价 我...《信息论基础》参考答案一、填空题(共 15 分,每空 1 分) 1、信源编码的主...

信息论基础课程作业汇总

信息论基础课程作业汇总_理学_高等教育_教育专区。信息论基础课程作业汇总 2015/03/23 作业 1 1. 查资料了解香农的研究生涯及其信息论的主要内容和应用。 作业 2...

信息论毕业论文

03 数列 39页 1财富值 信息论与编码论文 8页 1财富值如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 ...

《信息论与编码》试卷(A1)

信息论与编码》试卷(A1)_理学_高等教育_教育专区。安徽工业大学13年信息论...文档贡献者 悲伤残殇夜 贡献于2015-01-03 1/2 相关文档推荐 ...

信息论-习题答案

文档信息举报文档 佛光普照徐紫瑞贡献于2012-03-14 0.0分 (0人评价)暂无用户...信息论-习题答案信息论-习题答案隐藏>> X x1 x2 = 1.设信源 P( X ) ...

信息论习题答案第二章---陈前斌版

信息论习题答案第二章---陈前斌版_法学_高等教育_教育专区。第 2 章习题 2-...文档贡献者 yy517912 贡献于2012-03-27 专题推荐 2014教师资格材料分析辅......
更多相关标签:
信息论 | 信息论与编码 | 信息论基础 | 信息论的创始人是 | 信息论 pdf | 统一信息论 | 信息论与编码理论 | 信息论与编码 pdf |
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com