加载中...
首先我们介绍为什么要用Wishart分布。假设我们有从一元正态分布中抽取的n个独立的样本。那么这些样本的方差应该是服从一个自由度是$n-1$的$\chi^2$分布（具体介绍请参考如何抽取样本方差的分布）。Wishart分布是$\chi^2$分布在多元上的推广。因此，它可以用来描述多元正态分布样本的协方差矩阵。它在多元正态分布分布的贝叶斯推导中非常重要。
Wishart分布是根据John Wishart来的，他第一次提出了这个分布。Wishart分布是一组定义在对称、非负定矩阵的随机变量（随机矩阵）。这些分布在估计多元统计中的协方差的时候很有用。
假设$X$是一个$n\times p$的矩阵，每一行都是从均值为0的$p$维正态分布中抽取的独立样本，即：
X_{(i)} = (x_i^1,\cdots,x_i^p) \sim N_p(\textbf{0},\Sigma)
那么，Wishart分布$S$就是这个这个$p\times p$的随机矩阵的概率分布：
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
S = \sum_{i=1}^nX_i^TX_i
它通常被称为散度矩阵，写法如下：
S \sim W_p(\Sigma,n)
这里的$n$是自由度。有时候也写成$W(\Sigma,p,n)$，那么对于$n \geq p$的矩阵$S$，如果$\Sigma$是可逆的，那么它也是可逆的。当$p=\Sigma=1$那么这个分布是一个自由度为$n$的$\chi^2$分布。同时，当协方差是单位矩阵的时候，也称之为标准Wishart分布。
Wishart分布是用来为随机协方差矩阵建模的。它是定义如下：
S \sim W(\Sigma,p,n) = \sum_{i=1}^n X_i X'_i
X_i \sim N(0,\Sigma)
因此，Wishart分布是一组一阶矩阵的和的分布，这些一阶矩阵相互独立，都是来自于均值为0，协方差矩阵是$\Sigma$的样本。且：
E(S) = nE(X'X)=nCov(X_i)=n\Sigma
更一般的，当任意$X\sim N(\mu,\Sigma)$时候，有：
X = \mu + AZ, Z\sim N(0,I_d)
那么：
\Sigma = Cov(X) = A Cov(Z)A' = AA'
这里寻找A最简单的方法是使用LU-Decomposition。它可以找出一个唯一的低阶对角阵A，使得：
AA' = \Sigma
然后，再通过上面的式子的结合，我们得到：
\begin{aligned}
S(\Sigma,p,n) &=\sum_{i=1}^n(AZ_i)(AZ_i)' \\
&\\
&= A(\sum_{i=1}^nZ_iZ'_i)A'\\
&\\
&=AW(I_p,p,n)A'
\end{aligned}
也就是说，对于均值不为0的多元高斯分布，我们也可以通过上述转换转换成标准Wishart分布。
Wishart分布$S$的概率密度函数如下：
f(S)= \frac{1}{2^{np/2}\Gamma_p(\frac{n}{2})|\Sigma|^{n/2}} |S|^{(n-p-1)/2} \exp [ -\frac{1}{2} \text{trace}(\Sigma^{-1}S)]
这里的$\Gamma_p(\frac{n}{2})$是一个多元的Gamma函数，$\text{trace}(\Sigma^{-1}S)$是矩阵的迹（方阵上主对角线上元素的和）。但是实际上，这个概率密度的具体形式很少用到。但是它有很大的作用：
1、如果有$M\sim W_p(n,\Sigma)\text{且}B_{p * m}$，那么，
B'MB \sim W_m(n,B'\Sigma,B)
2、如果有$M \sim W_p(n,\Sigma)$且$\Sigma>0$，那么，$\Sigma^{-\frac{1}{2}}M\Sigma^{\frac{1}{2}} \sim W_p(n,I_p)$ 3、如果有$M_i \sim W_p(n_i,\Sigma), (i=1,\cdots,k)$，那么，$\sum_{i=1}^k M_{i} \sim W_p(n,\Sigma)$，这里的$n=n_1+\cdots+n_k$ 4、如果有$M \sim W_p(n,\Sigma)$，那么，$EM = n\Sigma$ 5、如果有两个相互独立的随机变量$M_1$和$M_2$，且$M_1 + M_2 = M \sim W_p(n,\Sigma)$，$M_1\sim W_p(n_1,\Sigma)$，那么有$M_2\sim W_p(n-n_1,\Sigma)$
Wishart分布最重要的作用是描述多元正态分布样本的协方差。即假设$X_1,\cdots,X_n$是独立同分布的样本，它们都是来自$N_p(\mu,\Sigma)$（$p$维的）。那么，样本的均值和方差分别是：
\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i
S = \frac{1}{n-1} \sum_{i=1}^n (X_i-\bar{X})(X_i-\bar{X})'
并且有 1、$\bar{X}$和$S$是相互独立的。且
\sqrt{n} (\bar{x}-\mu) \sim N_p (0,\Sigma)
(n-1)S \sim W_p (n-1,\Sigma)
参考1：http://www.stat.pitt.edu/sungkyu/course/2221Fall13/lec2.pdf 参考2：http://www.math.wustl.edu/~sawyer/hmhandouts/Wishart.pdf 参考3：http://www.fil.ion.ucl.ac.uk/~wpenny/publications/bmn.pdf 参考4：https://www.statlect.com/probability-distributions/wishart-distribution