Dependent Dirichlet Processes and Other Extensions

一般情况下，我们会给一个分布以一个非参的先验。然而，在很多应用中，我们的目标是为一组分布$\mathcal{g}=\\{G\_s : s\in S\\}$建模。例如，$S$可能是一个区间，例如一个空间区域或者是一个协变量空间，我们需要对这些区间中的某些区域的分布建模。这个时候，如果我们认为所有的分布都有相同的先验，即$G\_s= G\sim DP(\alpha,G\_0)$，显然这种假设太过于严格。但如果我们假设所有的分布相互独立且分布相同，那么显然这种假设也有点浪费。那么，DDP就是就是介于二者之间的一个模型。

使用有参的模型也有类似的问题。例如如下的分层模型：

```math
y_{ij} = \theta_i+\epsilon_{ij} \space\space\space \epsilon_{ij} \overset{i.i.d}{\sim} N(0,\sigma^2)
```

```math
\theta_i=\eta+\nu_i \space\space\space \nu_i \overset{i.i.d}{\sim} N(0,\tau^2)
```

其中，$\eta \sim N(\eta\_0,\kappa^2)$。
当$\tau^2\to 0$的时候，对于所有的$i$，我们有$\theta_i=\eta$。
当$\tau^2\to\infty$的时候，多有的均值都不相同，也就是各个组之间相互独立。
为了获取一种介于二者之间的模型，上述层次模型可以扩展一下，即给定$\tau^2$一个先验。

那么，对于分布，我们如何操作呢？有很多方法：
1、通过一个在独立非参先验条件下的基准分布，引入依赖性，例如DP混合的乘积，很简单，但是限制较大。
2、从DP中抽取独立分布的混合分布：
```math
G_s = w_1(s)G_1^* + w_2(s)G_2^*+ \cdots + w_p(s)G_p^*
```
其中，$G\_i^\* \sim DP(\alpha,G\_0)$且$\sum\_{i=1}^p w\_i(s)=1$，但是这种方式很难拓展到当$S$不可数的情况。
3、DDP方式：从一个Stick-breaking构造的DP开始，将权重和原子替换成合适的在$S$上的随机过程。这是一个很一般的方式。很多框架都是基于DDP模式的。

回忆一下之前的DP构造，$G\sim DP(\alpha,G\_0)$当且仅当$G=\sum\_{l=1}^\infty w\_l \delta\_{\theta\_l}$，其中$\theta\_l$是从$G\_0$中抽取的独立同分布的样本，而$w\_1=z\_1$，$w\_l=z\_l\prod\_{r=1}^{l-1}(1-z\_r),l=2,3,\cdots$，这里的$z\_r$是来自于$Beta(1,\alpha)$的独立同分布的样本。

为了构造针对一组随机分布集合$\mathcal{g}=\\{G\_s:s\in S\\}$的DDP先验，我们定义：

```math
G_s = \sum_{l=1}^\infty w_l(s)\delta_{\theta_l(s)}
```

----其中，$\theta\_{l,S}=\\{\theta\_{l(s)},s\in S\\}$，是来自定义在$S$上的随机过程$G\_{0,S}$的独立的实现。
  ----stick-breaking的权重是通过另一个分布独立实现的，该分布是$z\_{l,S}=\\{z\_l(s):s\in S\\}$，其实定义在$S$上的随机过程，且其边缘分布$z\_l(s) \in Beta(1,\alpha(s))$。
  ----定义原子和权重依赖的随机过程可以通过高斯过程的变形的得到。

Dependent Dirichlet Processes and Other Extensions

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客