一、背景
熵是热力学中的一个重要的概念,最早是由香农(Claude Shannon)将熵应用于信息的度量。
熵(Entropy)是描述事物无序性的一个重要的参数,熵越大则无序性越强,同时,熵表示一个随机变量的不确定性。
二、熵
1、信息熵
香农指出,一条信息的信息量和它的不确定性之间有着直接的关系。因此可以使用信息熵来描述信息量的多少。
信息熵的定义为:设一个随机变量 X ,其可能的
H(X)=∑i=1mpilog21pi=−∑i=1mpilog2pi
自然语言中的重要概念——熵(Entropy)一 背景 熵是热力学中的一个重要的概念 最早是由香农 Claude Shannon 将熵应用于信息的度量 熵 Entropy 是描述事物无序性的一个重要的参数 熵越大则无序性越强 同时 熵表示一个随机变量的不确定性 二 熵 1 信息熵 香农指出 一条信息的信息量和它的不确定性之间有着直接的关系
熵是热力学中的一个重要的概念,最早是由香农(Claude Shannon)将熵应用于信息的度量。
熵(Entropy)是描述事物无序性的一个重要的参数,熵越大则无序性越强,同时,熵表示一个随机变量的不确定性。
香农指出,一条信息的信息量和它的不确定性之间有着直接的关系。因此可以使用信息熵来描述信息量的多少。
信息熵的定义为:设一个随机变量 X ,其可能的
H(X)=∑i=1mpilog21pi=−∑i=1mpilog2pi
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/76571.html