多元正态（高斯）分布的贝叶斯推导（Bayesian Inference for the Multivariate Normal）

标签：#多元正态分布##统计# 时间：2017/11/04 09:29:37 作者：小木

多元正态分布分布的贝叶斯推导是一种常见的贝叶斯推导的实例，一般来说，对于均值和方差位置的多元正态分布，我们使用Normal-Wishart先验来推导其后验分布。

#### 一、简介
我们在这里先简单介绍一下问题的背景。假设我们有一组观测数据，每一个观测数据都是一个向量，他们都是来自于某一个多元正态分布，也就说，他们都是服从均值为$\mu$协方差是$\Sigma$的多元正态分布。我们的目标就是利用这些样本数据，估计这个$\mu$和$\Sigma$的值。

假设我们有$n$个样本，是来自于某个多元正态分布的样本，其维度是$p$，即$X\_i \sim N(\mu,\Sigma)$，那么这里的协方差矩阵$\Sigma$是一个$p \times p$的矩阵。那么，这些样本的似然函数是：

```math
\begin{aligned}

L(\mu,\Sigma,X) &= \prod_{i=1}^{n} \frac{1}{\sqrt{(2\pi)^d|\Sigma|}} \exp ( (-1/2)(X_i-\mu)'\Sigma^{-1}(X_i-\mu) ) \\
&\\
&= \frac{1}{(2\pi)^{nd/2}|\Sigma|^{n/2}} \exp ( -(1/2)\sum_{i=1}^n(X_i-\mu)'\Sigma^{-1}(X_i-\mu) ) \\

\end{aligned}
```
<center>**公式1**</center>

这里的求和结果可以写成（这里其实乍看确实很奇怪，大家可以使用3乘以3的例子算一下确实是这个结果）：

```math
\begin{aligned}

\sum_{i=1}^n(X_i-\mu)'\Sigma^{-1}(X_i-\mu) &= \sum_{i=1}^n \sum_{a=1}^p\sum_{b=1}^p (X_{ia}-\mu_a)(\Sigma^{-1})(X_{ib}-\mu_b) \\

&\\

&= \sum_{a=1}^n\sum_{b=1}^n(\Sigma^{-1})_{ab}\Sigma_{i=1}^n (X_{ia}-\mu_a)(X_{ib}-\mu_b) \\

&\\

&= \sum_{a=1}^n\sum_{b=1}^n (\Sigma^{-1}) Q(\mu)_{ab} = \text{tr}(\Sigma^{-1}Q(\mu))

\end{aligned}

```

其中：
```math
\begin{aligned}

Q(\mu) &= \sum_{i=1}^n(X_i-\mu)(X_i-\mu)' \\
&\\
&=\sum_{i=1}^n(X_i-\bar{X})(X_i-\bar{X})' + n(\bar{X}-\mu)(\bar{X}-\mu)'

\end{aligned}
```

多元正态（高斯）分布的贝叶斯推导（Bayesian Inference for the Multivariate Normal）

相关博客

最热博客