2025年相关性分析(二)之离散特征

科技前沿 • 2025-01-26 20:52 • 阅读 60

大家好，我是讯享网，很高兴认识大家。

信息熵

基础

$x_i$ 的自信息： 反映特征的某个值，具有非负、单调减、可加和不确定性。表示收到某消息获得的信息量（即，收到某消息后获得关于某事件发生的信息量），公式如下：
$I(x_i)=f[p(x_i)]=-log_rp(x_i)，r=2$
条件的自信息量：
$I(x_i/y_i)=-log_rp(x_i/y_i)，r=2$
联合自信息量：
$I(x_iy_i)=-log_rp(x_iy_i)$

$I(x_iy_i)=-log_rp(x_iy_i)=-log_rp(x_i)p(y_i|x_i)=I(x_i)+I(y_i|x_i)$
$I(x_iy_i)=-log_rp(y_i)p(x_i|y_i)=I(y_i)+I(x_i|y_i)$

互信息

互信息的定义

信源发出的消息 $x_i$ 的概率 $p(x_i)$ 称为先验概率，信宿收到 $y_j$ ，利用收到 $y_j$ 推测信源发出的 $x_i$ 的概率，称为后验概率，有时候也称为条件概率。

互信息的公式

互信息即已知一个变量，在此基础上又知道一个消息，这个消息减少了这个变量多少不确定性。
$I(x_i;y_j)=I(x_i)-I(x_i|y_j)=-log_rp(x_i)+log_rp(x_i|y_j)=log_r\frac{p(x_i/y_j)}{p(x_i)}$
$I(x_i;y_j)=I(y_j)-I(y_j|x_i)$
$I(x_i;y_j)=log_r\frac{p(x_i,y_j)}{p(x_i)p(y_j)}=I(x_i)+I(y_j)-I(x_i,y_j)$

互信息量=自信息量-条件信息量

通信之前，x和y相互独立，有 $p(x_i,y_j)=p(x_i)p(y_j)$ ，不确定性 $log_rp(x_i)p(y_j)=I(x_i)I(y_j)$ ，但在通信过程中，存在信道转移概率 $p(y_j|x_i)$ ，此时，联合概率 $p(x_i,y_j)=p(y_j|x_i)p(x_i)$ ，发 $x_i$ 收 $y_j$ 的不确定性 $I(x_i,y_j)=-log_rp(x_i,y_j)$ 。

讯享网

拓展到三维X,Y,Z联合集：
给定条件 $Z_k$ 下， $x_i$ 与 $y_j$ 之间的互信息量，其定义式：
$I(x_i,y_j|z_k)=log_r\frac{p(x_i|y_j,z_k)}{p(x_i|z_k)}$

互信息的性质

对称性 —— 互易性
当x和y相互独立时，互信息为0
互信息可为正值或负值，反映两个事物之间的肯定作用。
a) 若互信息为正值，通过接收 $y_j$ 判断是否发送 $x_i$ 的确定性变小，能正常通信。
b) 若互信息为负值，意味着传输中的问题，如信道噪声，干扰等，收到 $y_j$ 判断是否发送 $x_i$ 的不确定性反而变大了。
$I(x_i;y_j)=I(x_i)-I(x_i|y_j)=log_r\frac{p(x_i|y_j)}{p(x_i)}<0$
=> $I(x_i)<I(x_i|y_j)$ 即 $p(x_i|y_j)<p(x_i)$
两个事件的互信息量不大于单个事件的自信息量，即
$I(x_i;y_j)\leq I(x_i)$ and $I(x_i;y_j)\leq I(y_j)$

信息熵

对一个信息源发出的不同消息所包含的信息量也不同，所以自信息 $I(x_i)$ 是一个随机变量，不能用它作为整个信源的信息测度。

自信息 $I (x)$ 反映的是某个特征的某个值
信息熵 $H_r(x)$ 反映的是某个特征
即将自信息求期望后，会得到信息熵，也就是 $H_r(x)=E(I(x))=\sum_{i=1}^{k}p(x_i)logp(x_i)$

定义自信息的数学期望为平均自信息量 $H_r(x)$ ，称为信源的信息熵，也叫做信源熵或者香农熵。
$H_r(x)=E(I(x))=E(log_r\frac{1}{p(x_i)})=-\sum_{i=1}^{k}p(x_i)log_r(x_i)$
熵还是的自变量是X，表示信源整体，实际上是离散无记忆信源平均不确定度的度量。

2025年相关性分析(二)之离散特征

信息熵

基础

互信息

互信息的定义

互信息的公式

互信息的性质

信息熵

相关推荐