自然语言中的重要概念——熵(Entropy)

自然语言中的重要概念——熵(Entropy)一 背景 熵是热力学中的一个重要的概念 最早是由香农 Claude Shannon 将熵应用于信息的度量 熵 Entropy 是描述事物无序性的一个重要的参数 熵越大则无序性越强 同时 熵表示一个随机变量的不确定性 二 熵 1 信息熵 香农指出 一条信息的信息量和它的不确定性之间有着直接的关系

大家好,我是讯享网,很高兴认识大家。

一、背景

熵是热力学中的一个重要的概念,最早是由香农(Claude Shannon)将熵应用于信息的度量。

熵(Entropy)是描述事物无序性的一个重要的参数,熵越大则无序性越强,同时,熵表示一个随机变量的不确定性。

二、熵

1、信息熵

香农指出,一条信息的信息量和它的不确定性之间有着直接的关系。因此可以使用信息熵来描述信息量的多少。


讯享网

信息熵的定义为:设一个随机变量 X ,其可能的 m 种取值为 x1,x2,⋯,xm ,对于每一种取值的概率为: p1,p2,⋯,pm ,那么随机变量 X 的不确定度,即信息熵,用 H(X) 表示:

H(X)=∑i=1mpilog21pi=−∑i=1mpilog2pi
小讯
上一篇 2025-02-06 13:56
下一篇 2025-03-05 18:48

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/76571.html