lda主题模型困惑度_⾃然语⾔处理（2）主题模型LDA （1数学
基础篇） 讯享网
1前⾔ 要想彻底搞明⽩ LDA 的实现原理，就需要具备⼀定的数学基础。LDA ⽤到的数学知识包括： ⼀个公式和两个概念：贝叶斯公式、共轭分布和共轭先验 ⼀个函数：gamma 函数 四个分布：⼆项分布、多项分布、beta 分布、dirichlet 分布 ⼀个采样：gibbs 采样 下⾯将分别对这⼏个部分作介绍。 2⼀个公式和两个概念 先来看⼀下贝叶斯公式：
讯享网 表⽰未知参数，X 表⽰样本
- 先验概率：在事件尚未发⽣前，对该事件发⽣概率的估计。利⽤过去历史资料计算出来得到的先验概率叫做客观先验概率；凭主观经 验来判断⽽得到的先验概率叫做主观先验概率。
- 后验概率：通过调查或其它⽅式获取新的附加信息，利⽤贝叶斯公式对先验概率进⾏修正后⽽得到的概率。
- 似然函数：给定模型参数 的条件下，样本数据服从这⼀概率模型的相似程度。
- 先验分布：反映在进⾏统计试验之前根据其他有关参数知识得到的分布。也就是说在观测获取样本之前，⼈们对 已经有⼀些知识，此时这个 的分布函数为 ， 的概率密度函数为 ，分别称为先验分布函数和先验概率密度函数，统称先验分布。
- 后验分布：根据样本 X 的分布以及 的先验分布 ，采⽤求解条件概率的⽅式可以计算出已知 X 的条件下， 的条件分布 。因为该分布是在获取样本 X 之后计算出来的，所以称为后验分布。
- 共轭分布和共轭先验：在贝叶斯概率理论中，如果后验概率 和先验概率 满⾜同样的分布律，那么，先验分布和后验分布被叫做 共轭分布。同时，先验分布叫做似然函数的共轭先验分布共轭分布 共轭先验分布。 3 ⼀个函数 gamma 函数定义如下： ，gamma 函数可以看作阶乘在实数集上的拓展，对于正整数 n，具有如下性质： 。 4 四个分布 4.1 ⼆项分布 ⼆项分布是从伯努利分布推导出来的。伯努利分布，⼜称两点分布或0-1分布，是⼀个离散型的随机分布，其中的随机变量只有两种取值， ⾮正即负{+,−}。⽽⼆项分布即重复 n 次伯努利试验，记为 X∽B(n,p) 。简⾔之，只做⼀次实验，是伯努利分布，重复做了 n 次，是⼆项 分布。⼆项分布的概率密度函数为： ，其中 ，是⼆项分布的系数。 ⼀个典型的例⼦就是抛硬币，我们做 n 次实验，有 k 次为正⾯的概率。 4.2 多项分布 多项分布是⼆项分布在多维上的推⼴，是指单次试验中随机变量的取值不再是 0-1 ，⽽是有多种离散值。⽐如掷骰⼦，有 6 个⾯，n 次试 验结果服从 k=6 的多项分布。其中 k 个离散值的概率满⾜： 。多项分布的概率密度函数为： 其中 表⽰随机变量 发⽣的次数， 表⽰随机变量
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/143931.html