当前位置:首页 >> 其它课程 >> 答案~信息论与编码练习

答案~信息论与编码练习


1、有一个二元对称信道,其信道矩阵如下图所示。设该信道以 1500 个二元符号/秒的速度 传输输入符号。现有一消息序列共有 14000 个二元符号,并设在这消息中 P(0)=P(1)=1/2。 问从信息传输的角度来考虑,10 秒钟内能否将这消息序列无失真地传送完?
0 0.98 0.02 0

0.02 1 0.98 1

解 答

: 消 息 是 一 个 二 元 序 列 , 且 为 等 概 率 分 布 , 即 P(0)=P(1)=1/2 , 故 信 源 的 熵 为 H(X)=1(bit/symbol)。则该消息序列含有的信息量=14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率: 信道传递矩阵为: ?0.98 0.02 ?

P?? ? ?0.02 0.98?

信道容量(最大信息传输率)为: C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为: Rt ≈1500 符号/秒× 0.8586 比特/符号 ≈1287.9 比特/秒 ≈1.288×103 比特/秒 此信道 10 秒钟内能无失真传输得最大信息量=10× Rt ≈ 1.288×104 比特 可见, 此信道 10 秒内能无失真传输得最大信息量小于这消息序列所含有的信息量, 故 从信息传输的角度来考虑,不可能在 10 秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布,且有如下两个信道,其转移概率矩阵分别为:

? 1 1 0 0? 2 2 ?0 1 1 0 ? 2 P ? ? 2 1 1? 1 ?0 0 2 2 ? ?1 1? ?2 0 0 2?
解答:

? 1 1 0 0 0 0 0 0? 2 2 ?0 0 1 1 0 0 0 0 ? 2 2 ? P2 ? ? ?0 0 0 0 1 1 0 0 ? 2 2 ? 1 1? ?0 0 0 0 0 0 2 2 ?

试求这两个信道的信道容量,并问这两个信道是否有噪声?

(1)由信道1的信道矩阵可知为对称信道 故C1 ? log 2 4 ? H ( 1 2
1 2

0

0) ? 1bit / symbol

H ( X ) ? log 2 4 ? 2bit / symbol ? C1 有熵损失,有噪声。 (2)为对称信道,输入为等概率分布时达到信道容量 C2 ? log 2 8 ? H ( 1 2 H ( X ) ? C2 , 无噪声
1 2

0

0

0

0

0

0) ? 2bit / symbol

3 、已知随即变量 X 和 Y 的联合分布如下所示:

X 0

Y

0 1/8

1 3/8

1 3/8 1/8 试计算:H(X) 、H(Y) 、H(XY) 、H(X/Y) 、H(Y/X) 、I(X;Y) 解: (1) H( X) ? ? 1 H( Y) ?? 1 (2) (3) H(X/Y)= H(XY)-- H(Y)=1.811-1=0.811 (4) H(Y/X)= H(XY)-- H(X)=1.811-1=0.811 (5)

4、 有一个可以旋转的圆盘,盘面上被均匀的分成 38 份,用 1,2,3,??,38 数字标示, 其中有 2 份涂绿色,18 份涂黑色,圆盘停转后,盘面上指针指向某一数字和颜色。 (1)若仅对颜色感兴趣,计算平均不确定度; (2)若对颜色和数字都感兴趣,计算平均不确定度; (3)如果颜色已知,计算条件熵。 解:(1) H(色)= (2) P(色数)= H(色数)=

(3) H(数/色)= H(色数)- H(色)= 5、 在一个二进制信道中,信源消息集 X={0,1},且 P(0)=P(1),信宿的消息集 Y={0,1},信 道传输概率 P(1/2)=1/4, P(0/1)=1/8。求: (1)在接收端收到 y=0 后,所提供的关于传输消息 X 的平均条件互信息量 I(X;y=0). (2) 该情况所能提供的平均互信息量 I(X;Y). 解:(1)

P(ij)=

P(i/j)=

(2) 方法 1:

=

6 某一无记忆信源的符号集为{0,1},已知 p0=1/4, p1=3/4 (1)求符号的平均熵 (2)由 100 个符号构成的序列,求某一特定序列(例如有 m 个“0”和(100-m)个“1”) ) 的自信息量的表达式。 (3)计算(2)中的序列的熵。

解: (1) H(X)=

(2) (3) 7、 一阶马氏链信源有三个符号{u1,u2,u3},转移概率为: P(u1/u2)=1/2, P(u2/u2)=1/2, P(u3/u1)=0, P(u1/u2)=1/3, P(u3/u2)=2/3, P(u1/u3)=1/3, P(u2/u3)=2/3, P(u3/u3)=0, 画出状态图并求出各符号稳定概率。 解:

=

P(u2/u2)=0,

P(j/i)=

解方程组

求得 W=

1/2 S1 1/3 1/2 S2 2/3 2/3 8、 设有一信源,它在开始时以 p(a)=0.6,p(b)=0.3,p(c)=0.1 的概率发出 X1,如果 X1 为 a 时则 X2 为 a,b,c 的概率为 1/3;如果 X1 为 b 时则 X2 为 a,b,c 的概率为 1/3;如果 X1 为 c 时 则 X2 为 a,b 的概率为 1/2, 而为 c 的概率是 0;而且后面发出 Xi 的概率只与 Xi-1 有关。 p(Xi/ 又 Xi-1)=p(X2/ X1),i≥3。试利用马儿可夫信源的图示法画出状态转移图,并求出状态转移矩 阵和信源熵 H∞ 1/3 S3

P(j/i)=

解方程组

得到 W1=

, W2=

, W3=

9 某 信 源 符 号 有 8 个 符 号 {u1,?u8}, 概 率 分 别 是 1/2 , 1/4 , 1/8. , 1/16 , 1/32,1/64,1/128,1/128,编成这样的码:000,001,010,011,100,101,110,111。求 (1)信源的符号熵 H(U) (2)出现一个“1”或一个“0”的概率; (3)这样码的编码效率; (4)相应的香农码和费诺玛; (5)该码的编码效率? 解: (1) H(U)=
1 2 Log ( 2) ? 1 4 Log ( 4) ? 1 8 Log ( 8) ? 1 16 Log ( 16) ? 1 32 Log ( 32) ? 1 64 Log ( 64) ? 1 128 Log ( 128) ? 1 128 Log ( 128) ? 1.984 111 1 1 1 1 1 2 4 8 16 32 64 128 128

(2) 每个信源使用 3 个二进制符号,出现 0 的次数为

出现 1 的次数为

P(0)= P(1)= (3)

(4)

相应的香农编码

信源符号 xi x1 x2 x3 x4 x5 x6 x7 x8

符号概率 pi 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128

累加概率 Pi 0 0.5 0.75 0.875 0.938 0.969 0.984 0.992

-Logp(xi) 1 2 3 4 5 6 7 7

码长 Ki 1 2 3 4 5 6 7 7

码字 0 10 110 1110 11110 111110 1111110 11111110

相应的费诺码 信 源 符 号 xi x1 x2 x3 x4 x5 x6 x7 x8 符号概 率 pi 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128 1 1 1 第 一 次 分 组 0 0 0 0 0 1 0 1 1 0 1 第 二 次 分 组 第 三 次 分 组 第 四 次 分 组 第 五 次 分 组 第 六 次 分 组 第 七 次 分 组 二元码

0 10 110 1110 11110 111110 1111110 11111110

(5)香农码和费诺码相同 平均码长为

编码效率为: 10 已 知 符 号 集 {x1,x2,x3,?} 为 无 限 离 散 集 合 , 他 们 出 现 的 概 率 分 别 是 p(x1)=1/2,p(x2)=1/4,p(x3)=1/8,p(xi)=1/2i ,?。 (1)用香农编码方法写出各个符号的码字; (2)计算码字的平均信息传输率。 (3)计算信 源编码效率。3 解: (1) pi= 符号 概率 累加 概率 码长 二 元码 x1 1/2 0 1 0 x1 1/4 0.5 2 10 x2 1/8 0.75 3 110 累加概率为 Pi= x3 1/16 0.875 4 1110 x4 1/32 0.938 5 11110 x5 1/64 0.969 6 111110 累加概率分别为 x6 1/128 0.984 7 1111110 x7 1/256 0.992 8 11111110 ? ? ? ?

(2)信源的信息量为

平均码长为:

码字的平均信息传输率为 R= (3)编码效率 bit/码

R=

100%

11 该二进制对称信道的概率转移矩阵为 ? ?

? 2 / 3 1/ 3 ? ?, ? ? 1 / 3 2 / 3?

(1)若 p(x0)=3/4,p(x1)=1/4,求 H(X),H(X/Y),H(Y/X)和 I(X;Y)。 (2)求该信道的信道容量及其达到信道容量时的输入概率分布。

12、某信源发送端有 2 个符号,xi,i=1,2,p(xi)=a,每秒发出一个符号。接收端有 3 种符号 yj,j=1,2,3,转移概率矩阵如下:

?1 / 2 1 / 2 0 ? p?? ?1 / 2 1 / 4 1 / 4 ? ? ? ?

(1)计算接收端的平均不确定度; (2)计算由于噪声产生的不确定度 H(Y/X); (3) 计算信道容量 解: (1)

接收端的不确定度为:

(2) H(Y/X)= = (3)

=0 得到



13 发送端有 3 种等概率符号(x1,x2,x3),p(xi)=1/3,接收端收到 3 种符号(y1,y2,y3),

信道转移概率矩阵如下:

(1)求接收端收到一个符号后得到的信息量 H(Y); (2)计算噪声熵 H(Y/X); (3)计算当接收到端收到一个符号 y2 的错误率; (4)计算从接收端看的平均错误率; (5)计算从发送端看的平均错误率; (6)从转移矩阵中你能看出信道的好坏吗: (7)计算发送端的 H(X)和 H(X/Y)。 解: (1)

条件概率

,联合概率

,后验概率

p ( y 0) ? ?

1 3

, p ( y 1) ? ?

1 2

, p ( y 2) ? ?

1 6

(2) H(Y/X)=

(3) 当接收为 y2,发为 x1 时正确,如果发的是 x1 和 x3 为错误,各自的概率为: P(x1/y2)= ,P(x2/y2)= ,P(x3/y2)=
5 5 1 1 3 5

其中错误概率为: Pe=P(x1/y2)+P(x3/y2)= (4)平均错误概率为
1 5 ? 3 5 ? 0.8

(5)仍为 0.733 (6)此信道不好 原因是信源等概率分布,从转移信道来看 正确发送的概率 x1-y1 的概率 0.5 有一半失真 x2-y2 的概率 0.3 有失真严重 x3-y3 的概率 0 完全失真 (7)

H(X/Y)=
1 6 Log ( 2) ? 1 10 Log ( 5) ? 1 15 Log ? ? 2 1 3 ? 5? 1 ? 5? 1 ? 5? ? ? 15 Log? 2 ? ? 10 Log ( 5) ? 10 Log? 3 ? ? 30 Log( 10) ? 10 Log? 3 ? ? 1.301 ? 2? ? ? ? ? ? ? 5?

14、 设离散无记忆信道的输入符号集 X:{0,1},输出符号集 Y:{0,1,2},信道矩阵为

P=

若某信源输出两个等该消息 x1,x2,现在用信道输入符号集对 x1,x2 进行编码,W1=00,W2=11 代表 x1,x2。按最大似然准则写出译码函数,并求出最小平均错误译码概率 Pemin。 解:

(1) 选择译码函数 F(b1)=F(b2)=F(b3)=F(b4)=F(b7)=x1 F(b5)=F(b6)=F(b8)=F(b9)=x2 (1)


更多相关文档:

信息论与编码习题参考答案(全)

信息论与编码习题参考答案(全)_工学_高等教育_教育专区。信息论与编码习题参考答案2002 Copyright EE Lab508 信息论与编码习题参考答案 第一章 单符号离散信源 1...

答案~信息论与编码练习

答案~信息论与编码练习_其它课程_高中教育_教育专区。1、有一个二元对称信道,其信道矩阵如下图所示。设该信道以 1500 个二元符号/秒的速度 传输输入符号。现有...

信息论与编码课后习题答案

信息论与编码课后习题答案_理学_高等教育_教育专区。1. 有一个马尔可夫信源,已知 p(x1|x1)=2/3,p(x2|x1)=1/3,p(x1|x2)=1,p(x2|x2)=0,试画...

信息论与编码理论习题答案

信息论与编码理论习题答案_工学_高等教育_教育专区。西电信息论与编码理论习题答案 第二章 信息量和熵 2.2 八元编码系统,码长为 3,第一个符号用于同步,每秒 ...

信息论与编码试题集与答案(2014)改

信息论与编码试题集与答案(2014)改_工学_高等教育_教育专区。14、不可能事件的自信息量是 1、平均自信息为 表示信源的平均不确定度, 也表示平均每个信源消 ...

信息论与编码习题答案

要使通信系统做到传输信息有效、可靠和保密,必须首先 然后___加密___编码,再___信道___编码,最后送入信道。 3. 带限 AWGN 波形信道在平均功率受限条件下信道...

信息论与编码试题集与答案考试必看

信息论与编码试题集与答案考试必看_工学_高等教育_教育专区。信息基础论必备考卷 1. 在无失真的信源中,信源输出由 R(D) 来度量。 信源 编码, H(X) 来...

信息论与编码习题参考答案

2002 Copyright EE Lab508 信息论与编码习题参考答案 第一章 单符号离散信源 1.1 同时掷一对均匀的子,试求: (1)“2 和 6 同时出现”这一事件的自信息量...

信息论与编码试题集与答案(新)

信息论与编码试题集与答案(新)_工学_高等教育_教育专区。一填空题(本题 20 分,每小题 2 分) 1、平均自信息为 表示信源的平均不确定度,也表示平均每个信源...
更多相关标签:
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com