登录
注册
原创博客
(current)
算法案例
(current)
期刊会议
学术世界
领域期刊
SCI/SCIE/SSCI/EI简介
期刊列表
会议列表
所有期刊分区
学术期刊信息检索
JCR期刊分区查询
CiteScore期刊分区查询
中科院期刊分区查询
领域期刊分区
管理 - UTD24期刊列表
管理 - AJG(ABS)期刊星级查询
管理 - FMS推荐期刊列表
计算机 - CCF推荐期刊会议列表
高校期刊分区
南大核心(CSSCI)
合工大小核心
合工大大核心
AI资源仓库
AI论文快讯
AI预训练模型
AI数据集
AI开源工具
数据推荐
价值评估
数据集评分
AI工具评分
论文评分
专利列表
专利检索
科技大数据评估系统
网址导航
我的网址导航
程序员必备网站
Dirichlet Tree Distribution(狄利克雷树分布)
标签:
#Dirichlet#
#分布#
#统计基础#
时间:2017/02/06 21:17:00
作者:小木
这篇博客的主要内容来自于Tom Minka的笔记——[The Dirichlet-tree distribution](https://tminka.github.io/papers/dirichlet/minka-dirtree.pdf "The Dirichlet-tree distribution") ####简介 Dirichlet分布作为多项式分布的先验已经很流行了,但是狄利克雷分布还有两个主要的限制: 1)每一个变量有自己的均值,但是它们却共享一个变量参数 2)除了限制它们的和为1外,变量之间必须相互独立。 这里介绍的Dirichlet-tree分布可以克服上述缺点但保留计算上的简洁。新的分布也可以作为多项式分布的先验。在这里,我们不再把多项式分布的样本看作是一个K面的筛子结果,我们把它看作是一个有限的随机过程的结果。如图1中的(a)所示,一个叶子节点的概率是每个树枝所有的概率乘积。图1中的b图是更一般形式的树。在Dirichlet分布中,参数是叶子节点的概率,即$[p_1 \ldots p_K]$,所以某个样本x的概率为(**注意:这里右上角$\delta(x-k)$是delta函数,又叫Dirac delta function。其值在任意范围内都是0,除了在0位置。因而这里的delta函数就表示当x取k的时候,$\delta(x-k)=1$,否则就是0,那么下式的含义就是某个点的概率就是对应的pk**): ```math p(x|\textbf{p})=\prod_{k=1}^{K}p_{k}^{\delta(x-k)} ``` 在树结构的参数下,这个概率就变成了: ```math p(x|\textbf{B},T)=\prod_{\text{nodes} \space j}\prod_{\text{branches} \space c}b_{jc}^{\delta_{jc}(x)} ``` ```math \delta_{jc}(x)= \begin{cases} 1 \space\space \text{if branches jc leads to x} \\ 0 \space\space \text{otherwise} \end{cases} ``` 到达内部任意一个节点的概率也可以使用这样的概率表示。这个参数的共轭先验也就不再是一个Dirichlet密度而是一群Dirichlet密度的乘积,每个节点的概率为: ```math p(\textbf{B}|\alpha) = \prod_{(\text{nodes}\space j)}p(b_j|\alpha) ``` ```math p(b_{j}|\alpha) \sim \mathscr{D}(\alpha_{jc}) ``` 这里的意思就是每个节点的概率就等于和它直接相连的枝branch c与这个枝上的节点j的概率乘积,如图2中的(b)所示,红色节点的概率就是等于和它直接相连的枝(概率是0.4)和那个蓝色的节点(概率是0.7)的乘积,也就是0.28。而每一个枝都是来自一个Dirichlet先验分布。因此,这里的参数是来自很多歌Dirichlet先验的乘积,而不是原来的一个Dirichlet分布了。这就体现出Dirichlet树分布的优势了,也就是每个子树都可以是用不同的先验控制。   Dirichlet树分布是一个关于叶子概率$[p\_1,...,p\_K]$的分布,这个分布是关于树结构T和$\alpha$的函数。每个节点的概率可以通过如下的公式计算: ```math b_{jc} = \frac{\sum_{k} \delta_{jc}(k)p_{k}}{\sum_{kc'}\delta_{jc'}(k)p_{k}} ``` 也就是说$b\_{jc}$与其子树的概率质量成正比。最终我们可以得到: ```math p(\textbf{p}|\alpha,T) = \prod_{k} p_{k}^{\alpha_{\text{parent}(k)-1}} \prod_{j} \frac{\Gamma(\sum_{c}\alpha_{jc})}{\prod_{c}\Gamma(\alpha_{jc})} (\sum_{kc}\delta_{jc}(k)p_{k})^{\beta_{j}} ``` ```math \beta_j = \alpha_{\text{parent}(j)}-\sum_{c}\alpha_{jc} ``` 当j是根节点时候,$\beta\_{j}$就是0了。每个节点的Dirichlet分布既可以是尖的也可以是宽的,从而使得Dirichlet树分布控制每个$p_k$的形状。
相关博客
最热博客