当前位置:首页 >> 机械/仪表 >> 最大熵原理的证明

最大熵原理的证明


证明:当函数概率为均匀分布时,取得最大的熵值。
证明:设随机变量 X 可能取值为 x1,x2,...xn,取相应的值对应的概率 为 p1,p2,...pn。 我们知道 H ( x) ? ?? pi ln pi ;此时 e 为熵的单位。
i ?1 n

还有 ? pi ? 1 ? 0 ;
i ?1

n

利用拉格朗日乘子法我们可以构造函数:
G ( p1, p 2... pn, ? ) ? ?? pi ln pi ? ? (? pi ? 1) ;
i ?1 i ?1 n n

分别对 pi 和λ 求导,并令其为 0。我们可以得到:

?G / ?pi ? ? ln pi ? 1 ? ? ? 0 ,i=1,2,3...n;

? p ?1 ? 0 ;
i i ?1

n

由 ? ln pi ? 1 ? ? ? 0 ;可以得到 pi ? exp(? ? 1) ,i=1,2,3...n; 由此得知: p1 ? p 2 ? ... ? pn ? 1 / n ;得证。 此时相应的熵为 H ( X ) ? ln n ;


赞助商链接
更多相关文档:

最大熵原理

最大熵原理 - 最大熵原理(the maximum entropy principle) 2006 年 10 月 23 日 星期一 19:59 热力学统计物理中有熵增加原理,在信息论中也有对应...

最大信息熵原理

最大信息熵原理 - 热力学统计物理中有熵增加原理,在信息论中也有对应的关 于信息熵的著名定理――最大信息熵原理。 在很多情况下,对一些随机事件,我们并不了解...

浅谈最大熵原理和统计物理学

之後 經由最大熵原理,我們便可公正客觀的決定關於這 些物理知識最佳的機率分佈。經由 Jaynes 的證 明,最大熵原理所扮演的角色不再僅是量測忽略度 而已,它更...

基于最大熵原理的快照数据成交量分解算法

基于最大熵原理的快照数据成交量分解算法 - 基于最大熵原理的快照数据成交量分解算法 报告要点: 报告要点: 做市商市场下的推断交易方向的方法并不适...

基于最大信息熵原理的学习成绩分布预测模型

Bedook 比度克官网 www.1688dhw.com 易购网 www.yigou008.com 基于最大信息熵原理的学习成绩分布预测模型要】 本文提出:要应用最大熵原理,根据学生已有的测验成绩...

最大熵原理在太阳红斑紫外辐射观测中的应用

最大熵原理在太阳红斑紫外辐射观测中的应用 - 龙源期刊网 http://www.qikan.com.cn 最大熵原理在太阳红斑紫外辐射观测中的应 用 作者:李永鑫 诺桑 措加旺姆 ...

基于最大熵原理的语言建模

基于最大熵原理的语言建模_IT/计算机_专业资料。基于最大熵原理的语言建模及...(p) * p∈C可以证明,满足(17)式的解具有如下 Gibbs 分布形式: 可以证明,...

一维最大熵分割

16 II 沈阳理工大学数字图像处理课程设计报告 一维最大熵分割法 1 课程设计目的...的灰度图像,实 8 沈阳理工大学数字图像处理课程设计报告 验和理论证明, 当 w ...

期末考试口试

期末考试口试 - 口试考籤 统计热力学期末考试题籤 01 1 试述最大熵原理的两种表述,并从该原理出发,导出 0(微正则)分布以及它的经典形式,详细说明其中各 量的...

更多相关标签:
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com