LDA的Gibbs抽样详细推理与理解

[TOC]

**本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com  欢迎交流。**
#LDA图模型表示
![这里写图片描述](http://img.blog.csdn.net/20161211204924619?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXkyMDExNTU0OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

#LDA所要求得目标分布
关于LDA的理解，可以去看《LDA数学八卦》以及Heinrich G. Parameter estimation for text analysis[J]. University of Leipzig, Tech. Rep, 2008这两篇文章。

其实LDA所要做的就是求主题的后验分布。由于这里打公式太麻烦，我就把我写的word直接截图了。下面开始上图。
![这里写图片描述](http://img.blog.csdn.net/20161211205311308?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXkyMDExNTU0OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

#联合概率分布
从上看的式子可以看出，要想求得主题的后验分布，必须去求主题和单词的联合概率分布。下面来求联合概率分布。哎，敲公式，实在太烦，还是上图。。。。

![这里写图片描述](http://img.blog.csdn.net/20161211205544152?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXkyMDExNTU0OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

![这里写图片描述](http://img.blog.csdn.net/20161211205631745?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXkyMDExNTU0OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

![这里写图片描述](http://img.blog.csdn.net/20161211205731169?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXkyMDExNTU0OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

![这里写图片描述](http://img.blog.csdn.net/20161211205817170?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXkyMDExNTU0OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

#求解
下面是最关键的求解，怎么对公式进行化简。本人刚学LDA不过两个多星期，而求解的过程浪费了不少时间。幸亏有我大佳佳师兄指导(LDA数学八卦看了三遍，Parameter estimation for text analysis看了3，4遍，Probabilistic Topic Models看了2遍)，所以**建议大家集中时间，不要断断续续的看。**
![这里写图片描述](http://img.blog.csdn.net/20161211210825277?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXkyMDExNTU0OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

![这里写图片描述](http://img.blog.csdn.net/20161211211204533?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXkyMDExNTU0OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

![这里写图片描述](http://img.blog.csdn.net/20161211211236377?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXkyMDExNTU0OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

![这里写图片描述](http://img.blog.csdn.net/20161211211343848?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXkyMDExNTU0OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

#参考文献
Heinrich G. Parameter estimation for text analysis[J]. University of Leipzig, Tech. Rep, 2008
LDA数学八卦

LDA的Gibbs抽样详细推理与理解

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客