「贝叶斯」相关文章

吉布斯抽样是贝叶斯推断中非常常用的方法。本文来自Cross Validated中一个人的回答。

仿真抽样是给予贝叶斯方法第二春的重要角色。由于很多时候实际问题很复杂，我们无法精确求出后验密度，使用仿真抽样的方法我们可以获得近似的结果。这篇博客主要介绍了几种仿真抽样的方法。

狄利克雷过程混合模型（Dirichlet Process Mixture Model, DPMM）是一种非参数贝叶斯模型，它可以理解为一种聚类方法，但是不需要指定类别数量，它可以从数据中推断簇的数量。这篇博客将描述该模型及其求解过程。

这篇博客主要翻译自Gregor Heinrich的技术博客Parameter estimation for text analysis，介绍极大似然估计、极大后验估计和贝叶斯参数估计的原理和案例

贝叶斯分析在概率模型中有非常重要的作用，这些年以来比较有影响力的模型如LDA、非参数贝叶斯模型等都是基于贝叶斯分析的。贝叶斯分析有一些非常基础性的知识，在这里我们描述了贝叶斯分析里面的一些基本表示和一些分析准则等内容。

这个系列的博客来自于 Bayesian Data Analysis, Third Edition. By. Andrew Gelman. etl. 的第五章的翻译。实际中，简单的非层次模型可能并不适合层次数据：在很少的参数情况下，它们并不能准确适配大规模数据集，然而，过多的参数则可能导致过拟合的问题。相反，层次模型有足够的参数来拟合数据，同时使用总体分布将参数的依赖结构化，从而避免过拟合问题。

我们对层次贝叶斯推断的策略与一般的多参数问题一样，但由于在实际中层次模型的参数很多，所以比较困难。在实际中，我们很难画出联合后验概率分布的图形。但是，我们可以使用近似的基于仿真的方法。 在这个部分，我们提出一个联合了分析的和数值的方法从联合后验分布p(θ, φ|y)中获取仿真结果，以 小鼠肿瘤实验的beta-binormial模型为例，总体分布是p(θ|φ)，与似然函数p(y|θ)是共轭的。对于很多非共轭层次模型，更高级的算法将在后面叙述。即使针对更复杂的问题，使用共轭分布来获取近似估计也是很有用的。

这个系列的博客来自于 Bayesian Data Analysis, Third Edition. By. Andrew Gelman. etl. 的第五章的翻译。实际中，简单的非层次模型可能并不适合层次数据：在很少的参数情况下，它们并不能准确适配大规 模数据集，然而，过多的参数则可能导致过拟合的问题。相反，层次模型有足够的参数来拟合数据，同 时使用总体分布将参数的依赖结构化，从而避免过拟合问题。本节将讲述互换性并建立层次模型