2025年使用互信息进行图像配准

科技前沿 • 2025-04-05 14:38 • 阅读 35

大家好，我是讯享网，很高兴认识大家。

熵是描述一个事件的不确定性的，在英文中的描述是disorder，也就是无序，杂乱。写一个事件的熵可以表示为：

$-\sum_{A} p_i \log_2 p_i$

当 $p_i=0$ 的时候， $p_i\log p_i=0$ 。也就是事件所有可能情况的概率与其对应对数的乘积就和的相反数。假设一个事件 $A (X)$ 存在 ${x=1,x=2,x=3,x=4\}$ 这几种情况，并且经过多次实验，发现这几种情况出现的频数分别为：

x	1	2	3	4
频数	8	3	7	2

那么可以计算出， $p_1=\frac{8}{20}=0.4,p_2=\frac{3}{20}=0.15,p_3=\frac{7}{20}=0.35,p_4=\frac{2}{20}=0.1$ 。则事件A的熵为：

$E(A)=-(p_1\log_2 p_1+p_2\log_2 p_2+p_3\log_2 p_3+p_4\log_2 p_4)=1.8016$

在熵的理论中，认为在自然条件下，所有的事情都会慢慢变得杂乱无序，而熵是描述杂乱无序的程度，所以熵都是会变大的。而熵的最大和最小值分别是多少？

还是事件 $A$ ，重复做了20次实验，发现所有的结果都是 $x = 1$ 的情况，这个时候事件是非常确定的，是最不无序的状态，这个时候熵是最小的。

x	1	2	3	4
频数	20	0	0	0

$E_{min}(A)=-p_1 \log_2 p_1=0$

而当做了20次实验，发现所有情况出现的概率是均等的，也就是各出现了5次的话，这个时候是最杂乱无序的，熵是最大的。

x	1	2	3	4
频数	5	5	5	5

$E_{max}(A)=-4\times \frac{1}{4}\log_2(\frac{1}{4})=2$

更一般地来讲，当一个事件有n个可能出现的情况，那么最大和最小的熵分别是：
$\begin{cases} E_{max}(A)=-\log_2(\frac{1}{n})=\log_2(n) &(当所有情况等概率出现) \\ E_{min}(A)=0 &(当只有一种情况出现) \end{cases}$

互信息(Mutual Information)是熵理论中的概念，描述了当一个事件的引入，对原来事件不确定性的减少量。计算互信息需要使用到，熵，联合熵，条件熵等概率，方便理解，可以使用到韦恩图的方式来理解。