2025年小案例：解释期望最大算法

科技前沿 • 2025-03-08 07:12 • 阅读 98

大家好，我是讯享网，很高兴认识大家。

已有441篇原创，干货满满

值得星标

三步加星标

你好，我是 zhenguo

今天解释EM算法使用一个小案例，解释 EM 算法：E步和M步

论文题目：

What is the expectation maximization algorithm?

这是论文中的图：

下面解释这些数字是如何得来的。

假定硬币A正面朝上的概率为 0.6, 硬币B正面朝上的概率为 0.5

开展 5 轮实验，每轮抛掷 10 次，全部实验结果如下所示：

下面依次分析每轮实验结果。

第一轮结果：5次朝上，5次朝下。如果选择硬币A，则发生此结果的概率为：Pa = 0.6^5*0.4^5; 如果选择硬币B，概率为：Pb = 0.5^5*0.5^5; 则选择硬币A的概率为：Za = Pa/(Pa+Pb) ，选择硬币B的概率为：Zb = 1- Za.

计算一下：

Pa = 0.65*0.45 Pb = 0.55*0.55 Za = Pa/(Pa+Pb) Zb = 1- Za

结果：

讯享网In [11]: Za Out[11]: 0.093643 In [12]: Zb Out[12]: 0.90635

四舍五入，即 0.45, 0.55。分别就是选择硬币 A 和硬币 B 的概率。

选择硬币 A 的概率为 0.45，抛掷硬币 10 次，正反出现的总次数期望值为：0.45 * 10，即 4.5 次。第一轮实验结果：5正5反，所以正面出现次数的期望值为：4.5 * (5/10)，即为 2.25 次，反面出现 2.25 次；

同理分析硬币B。选择硬币 B 的概率为 0.55，抛掷硬币 10 次，正反出现的总次数期望值为：0.55 * 10，即 5.5 次。第一轮实验结果：5正5反，所以正面出现次数的期望值为：5.5 * (5/10)，即为 2.75 次，反面出现 2.75 次；

同理分别求出第二轮到第五轮实验，选择硬币 A 的概率及对应的正反面出现次数的期望值，选择硬币 B 的概率及对应的正反面出现次数的期望值。

第一轮到第五轮实验全部分析完成后，得到如下结果，左侧表格为选择硬币A和B的概率分布（也就是隐变量的概率分布）；右侧表格为硬币A和B在10次抛掷实验中正、反出现次数的期望分布（也就是可观察变量的概率分布）。

纵观 5 轮总结 50 次抛掷硬币，可以计算出硬币 A 、B 正面出现的概率。

硬币 A 正面出现次数：

2.2 + 7.2 + 5.9 + 1.4 + 4.5 = 21.2

硬币 A 反面出现次数：

2.2 + 0.8 + 1.5 + 2.1 + 1.9 = 8.5

同理求得硬币 B

得到论文图中的结果(小数点位数精度，稍有偏差，不碍事，理解就行)

至此又得到一个硬币A、B 正面出现概率的估计值，这次是基于实验得到，而不是像刚开始那样纯碎靠蒙（纯碎靠蒙时为 0.6, 0.5）。

完成一次分布参数的迭代。

10 轮迭代后，参数更新为如下，对应论文中的 Step4

要想系统掌握机器学习相关算法，推荐复旦大学邱老师的下面这本书，微信备注：nndl

不必打赏

给我点个赞

就心满意足了

2025年小案例：解释 期望最大算法