当前位置:首页 >> 机械/仪表 >> 最大熵原理的证明

最大熵原理的证明


证明:当函数概率为均匀分布时,取得最大的熵值。
证明:设随机变量 X 可能取值为 x1,x2,...xn,取相应的值对应的概率 为 p1,p2,...pn。 我们知道 H ( x) ? ?? pi ln pi ;此时 e 为熵的单位。
i ?1 n

还有 ? pi ? 1 ? 0 ;
i ?1

n

利用拉格朗日乘子法我们可以构造函数:
G ( p1, p 2... pn, ? ) ? ?? pi ln pi ? ? (? pi ? 1) ;
i ?1 i ?1 n n

分别对 pi 和λ 求导,并令其为 0。我们可以得到:

?G / ?pi ? ? ln pi ? 1 ? ? ? 0 ,i=1,2,3...n;

? p ?1 ? 0 ;
i i ?1

n

由 ? ln pi ? 1 ? ? ? 0 ;可以得到 pi ? exp(? ? 1) ,i=1,2,3...n; 由此得知: p1 ? p 2 ? ... ? pn ? 1 / n ;得证。 此时相应的熵为 H ( X ) ? ln n ;


赞助商链接
更多相关文档:

最大熵原理及其应用

最大熵准则设立先验分布的理论根据由 S.A. Smith 从数学上进行了证明,其思路是 把随机性决策问题作为对策问题看待, 即自然界选择一状态的分布使期望损失极大,...

最大熵原理

这是因为信息取得极大值时对应的一组概 率分布出现的概率占绝对优势。从理论上可以证明这一点。 在我们把看作是计量不确定程度的最合适的标尺时,我们就基本...

最大信息熵原理

这是因为信息取得极大值时对应的一组概率分布出现的概率 占绝对优势。从理论上可以证明这一点。 在我们把看作是计量不确定程度的最合适的标尺时,我们 就...

最大熵算法笔记

最大熵算法笔记_IT/计算机_专业资料。最大熵原理指出,当我们需要对一个随机事件...匈牙利著名数学家、信息论最高奖香农奖得主希萨(Csiszar) 证明,对任何一组不 ...

浅谈最大熵原理和统计物理学

之後 經由最大熵原理,我們便可公正客觀的決定關於這 些物理知識最佳的機率分佈。經由 Jaynes 的證 明,最大熵原理所扮演的角色不再僅是量測忽略度 而已,它更...

第5讲 信息熵

严格上凸性 定理 2.6 熵函数 H(P)是严格上凸函数。 证明:根据严格上凸性...极值性(最大离散熵原理) 定理 2.7(最大离散熵原理)对于任何 n 维概率分布 p...

基于最大熵原理的快照数据成交量分解算法

本文 提出一种基于最大熵原理的快照数据成交量分解算法。数值实验证明,该分解方 法对于快照时段内买卖两个方向上的成交量估计得比较准确。 关键词: 关键词:快照...

论最大熵原理及其在水文水资源科学中的应用

最大熵准则设立先验分布的理论根据由 S.A. Smith 从数学上进行了证明, 其思路是把随机性决策问题作为对策问题看待, 即自然界选择一状态的分布使期 望损失极...

连续信源的最大熵与最大熵条件

青岛农业大学本科生课程论文 论文题目 连续信源的最大熵最大熵条件 学生专业...并在此基础上对信息论的一系列理论 和方法进行了严格的推导和证明, 使以信息...

基于最大熵原理的语言建模

一起。最大熵方法则是将多种信息特征按照最大熵的原理进行集 成,直接建立一...(p) * p∈C可以证明,满足(17)式的解具有如下 Gibbs 分布形式: 可以证明,...

更多相关标签:
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com