当前位置:首页 >> 其它课程 >> 香农与信息论

香农与信息论


香农与信息论
1948 年,美国数学家香农发表了一篇著名的论文“通信的数学理论” ,建立了比较完整 的、系统的信息理论,即信息论。这门科学大大促进了通信技术和信息技术的发展。因此, 香农的贡献是很大的。 首先,他提出了信息的形式化。香农认为,在通信中,要排除信息的语义,只考虑信息 的形式因素。在通信中,如果接收端能够把发送端发出的信息从形式上复制出来,那么也就 复制了信

息的语义内容。例如,有三个句子: “信息是人类社会三大资源之一。 ” 2 2 2 “(a+b) =a +2ab+b 。 ” “Z!12#5$7**XYZ” 。 第一句是正常的句子,第二句是代数公式,第三句是含义不清的字符串。这三个句子有 明显差别, 但它们都是信息。 在通信时, 一旦把它们转变为电信号, 那么这种差别就没有了, 都是电信号。当接收端将电信号转换成原来形式时,语义就恢复了。所以,信息形式化后, 就有可能用数学进行描述。 第二,他提出了如图所示的通信系统模型。信源给出要传输的信息;编码器把信息转变 为信号,使之能在信道中传输;解码器把信号变回信息传给信息的接受方,即信宿。 信源 信息 编码器 信号 信道 信号 解码器 信息 信宿

噪音
通信系统模型

目前的通信系统都基本采用了这个模型。 例如, 利用电话线上网时, 计算机既是信源(发 送信息时)又是信宿(经受信息时),而调制解调器的调制和解调部分分别是编码器和解码器。 这个模型的不足之处是, 没有考虑信宿对信源的反馈作用。 不管信息接收者对收到的信息是 否正确理解,信息接收者都会做出反应。譬如打电话,一个人讲话时,另一个人总要答理, 否则讲话人会以为电话线路断了。 第三,他研究了信息与事件发生概率的关系,提出用比特(即二进制位)来测度信息量。 他认为,信息量的大小可以用被消除的不确定性的多少来表示。例如,把一个硬币往上抛, 那么硬币掉地时其正面可能朝上,也可能朝下。这是不确定的,概率都是二分之一。因为朝 上和朝下可以分别用 1 和 0 来表示,所以这个事件的信息量是一个比特。不难推算,如果一 个事件能够分解为 n 个二中择一的问题,那么它的信息量是 n 个比特。 第四,他提出了冗余信息的概念。他认为,没有提供独特信息的那部分数据是冗余的, 因此可以删除。比如,若在英文单词中,每个字母 q 后面总是有字母 u(注意这只是一种比 方),字母 u 就没有提供更多的信息,因此在信息的存储和传输环节中可以去掉它。现在, 香农的这项研究被广泛用于音频和视频信息的压缩上。 信息技术的发展与信息论、控制论和系统论“三论”的发展是密切相关的。信息论是研 究信息及其传输的一般规律的学科;控制论是由美国数学家诺伯特·维纳于 1948 年前后创 立的,它是研究生物(包括人类)和机器中的控制与通信的普遍原则和规律的学科;而系统论 是由奥地利生物学家贝塔朗菲于 1945 年创导的,它是研究系统的一般模式、结构、性质和 规律的学科。信息论是信息科学的一个分支,它是信息科学的理论基础之一。


更多相关文档:

香农编码--信息论大作业

信息论与编码课程大作业 题 目: 香农编码 *** &*** *** 学生姓名: 学号: 专业班级: 2013 年 5 月 10 日 香农编码 1.香农编码的原理/步骤 香农第一...

香农与信息论

香农与信息论_其它课程_高中教育_教育专区。信息技术基础名词解释香农与信息论 1948 年,美国数学家香农发表了一篇著名的论文“通信的数学理论” ,建立了比较完整 的...

信息论之父—香农

信息论之父—香农_理学_高等教育_教育专区。信息论之父—香农 信息论之父 香农 20 世纪中叶,信息论、控制论、系统论等标新立异的新理论相 继问世, 有力地“...

维纳和控制论 香农和信息论

维纳和控制论 香农和信息论_信息与通信_工程科技_专业资料。维纳和控制论控制论是关于自我控制系统的理论,它以“反馈”概念为依据,其定义是通过关于一个 系统以往...

信息论与编码课程大作业香农编码

信息论与编码课程大作业 题 目: 香农编码 学生姓名: 学号: 2010110100 专业班级: 电子信息工程班 2013 年 5 月 17 日 香农编码 一、实验目的 (1) 进一步...

信息论重点 (新)

包含通信的全部统计问题的研究,除了香农信息论之外,还包括信号设计,噪 声理论,信号的检测与估值等。 3.自信息 互信息 定义 性质及物理意义 自信息量: I ( xi...

现代通信与香农三大定理

现代通信与香农三大定理 姓名:杨伟章 学号:201110404234 摘要:当我们提起信息论,就不得不把香农和信息论联系在一起,因为正是 香农为通信理论的发展所做出的划时代...

信息论应用

香农认为,信息论的基本内容,就是研究信源、信宿、信道和编码问题,他对信 息论的贡献很多,主要有五点:一是他第一次从理论上阐明了通讯的基本问题,提出了通讯 ...

信息论的国内外研究与现状1

信息论的国内外研究与现状1_哲学/历史_人文社科_专业资料。信息论的国内外研究现状有关香农信息论的国内外的研究现状【摘要】 香农被尊称为是“信息论之父” ...

关于经典信息论的Case

关于经典信息论的 Case 经典信息论的 case 首先是现代通信技术的理论基础,而以下就 是经典信息论在现代通信技术的的基础作用的体现。 1.香农信息论是通信技术的...
更多相关标签:
香农信息论 | 香农的信息论 | 信息论 香农 pdf | 信息论 香农 传播学史 | 香农信息论 中译本pdf | 香农信息论的主要局限 | 信息论香农辅助定理 | 信息论香农编码代码 |
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com