Wishart分布简介

首先我们介绍为什么要用Wishart分布。假设我们有从一元正态分布中抽取的n个独立的样本。那么这些样本的方差应该是服从一个自由度是$n-1$的$\chi^2$分布（具体介绍请参考[如何抽取样本方差的分布](http://www.datalearner.com/blog/1051508471129542 "如何抽取样本方差的分布")）。Wishart分布是$\chi^2$分布在多元上的推广。因此，它可以用来描述多元正态分布样本的协方差矩阵。它在多元正态分布分布的贝叶斯推导中非常重要。

Wishart分布是根据John Wishart来的，他第一次提出了这个分布。Wishart分布是一组定义在对称、非负定矩阵的随机变量（随机矩阵）。这些分布在估计多元统计中的协方差的时候很有用。

#### 定义
假设$X$是一个$n\times p$的矩阵，每一行都是从均值为0的$p$维正态分布中抽取的独立样本，即：

```math
X_{(i)} = (x_i^1,\cdots,x_i^p) \sim N_p(\textbf{0},\Sigma)
```
那么，Wishart分布$S$就是这个这个$p\times p$的随机矩阵的概率分布：

```math
S = \sum_{i=1}^nX_i^TX_i
```
它通常被称为散度矩阵，写法如下：
```math
S \sim W_p(\Sigma,n)
```
这里的$n$是自由度。有时候也写成$W(\Sigma,p,n)$，那么对于$n \geq p$的矩阵$S$，如果$\Sigma$是可逆的，那么它也是可逆的。当$p=\Sigma=1$那么这个分布是一个自由度为$n$的$\chi^2$分布。同时，当协方差是单位矩阵的时候，也称之为标准Wishart分布。

#### 另一种描述。
Wishart分布是用来为随机协方差矩阵建模的。它是定义如下：
```math
S \sim W(\Sigma,p,n) = \sum_{i=1}^n X_i X'_i
```
```math
X_i \sim N(0,\Sigma)
```
因此，Wishart分布是一组一阶矩阵的和的分布，这些一阶矩阵相互独立，都是来自于均值为0，协方差矩阵是$\Sigma$的样本。且：
```math
E(S) = nE(X'X)=nCov(X_i)=n\Sigma
```
更一般的，当任意$X\sim N(\mu,\Sigma)$时候，有：
```math
X = \mu + AZ, Z\sim N(0,I_d)
```
那么：
```math
\Sigma = Cov(X) = A Cov(Z)A' = AA'
```
这里寻找A最简单的方法是使用LU-Decomposition。它可以找出一个唯一的低阶对角阵A，使得：
```math
AA' = \Sigma
```
然后，再通过上面的式子的结合，我们得到：

```math
\begin{aligned}
S(\Sigma,p,n) &=\sum_{i=1}^n(AZ_i)(AZ_i)' \\
&\\
&= A(\sum_{i=1}^nZ_iZ'_i)A'\\
&\\
&=AW(I_p,p,n)A'
\end{aligned}
```
也就是说，对于均值不为0的多元高斯分布，我们也可以通过上述转换转换成标准Wishart分布。

#### 概率密度函数
Wishart分布$S$的概率密度函数如下：

```math
f(S)= \frac{1}{2^{np/2}\Gamma_p(\frac{n}{2})|\Sigma|^{n/2}} |S|^{(n-p-1)/2} \exp [ -\frac{1}{2} \text{trace}(\Sigma^{-1}S)]
```

这里的$\Gamma\_p(\frac{n}{2})$是一个多元的Gamma函数，$\text{trace}(\Sigma^{-1}S)$是矩阵的迹（方阵上主对角线上元素的和）。但是实际上，**这个概率密度的具体形式很少用到**。但是它有很大的作用：
1. Wishart分布经常作为正态分布的协方差矩阵的逆的共轭先验分布（它最大的作用是用来描述正态分布样本的协方差矩阵，这点和chi-square分布描述一元正态分布样本的方差是一样的意思）。
2. 当一个对称的正定矩阵是扩散张量研究正所感兴趣的随机元素的时候，这个分布也很重要。

#### Wishart分布的命题
1、如果有$M\sim W\_p(n,\Sigma)\text{且}B\_{p \* m}$，那么，
```math
B'MB \sim W_m(n,B'\Sigma,B)
```

2、如果有$M \sim W\_p(n,\Sigma)$且$\Sigma>0$，那么，$\Sigma^{-\frac{1}{2}}M\Sigma^{\frac{1}{2}} \sim W\_p(n,I\_p)$
3、如果有$M\_i \sim W\_p(n\_i,\Sigma), (i=1,\cdots,k)$，那么，$\sum\_{i=1}^k M\_{i} \sim W\_p(n,\Sigma)$，这里的$n=n\_1+\cdots+n\_k$
4、如果有$M \sim W\_p(n,\Sigma)$，那么，$EM = n\Sigma$
5、如果有两个相互独立的随机变量$M\_1$和$M\_2$，且$M\_1 + M\_2 = M \sim W\_p(n,\Sigma)$，$M\_1\sim W\_p(n\_1,\Sigma)$，那么有$M\_2\sim W\_p(n-n\_1,\Sigma)$

#### Wishart分布最重要的作用
Wishart分布最重要的作用是描述多元正态分布样本的协方差。即假设$X\_1,\cdots,X\_n$是独立同分布的样本，它们都是来自$N\_p(\mu,\Sigma)$（$p$维的）。那么，样本的均值和方差分别是：
```math
\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i
```
```math
S = \frac{1}{n-1} \sum_{i=1}^n (X_i-\bar{X})(X_i-\bar{X})'
```
并且有
1、$\bar{X}$和$S$是相互独立的。且
```math
\sqrt{n} (\bar{x}-\mu) \sim N_p (0,\Sigma)
```
```math
(n-1)S \sim W_p (n-1,\Sigma)
```

参考1：http://www.stat.pitt.edu/sungkyu/course/2221Fall13/lec2.pdf
参考2：http://www.math.wustl.edu/~sawyer/hmhandouts/Wishart.pdf
参考3：http://www.fil.ion.ucl.ac.uk/~wpenny/publications/bmn.pdf
参考4：https://www.statlect.com/probability-distributions/wishart-distribution

相关博客

最热博客