Dask调度器简介

Dask支持多种调度器,从单线程、多线程、多进程到本地分布式和集群分布式,各种调度器在不同情况下有不同的作用,本文来源于Dask官方文档的翻译,主要向大家介绍这五种调度器的使用情景和方式。最后提供了如何在不同情境下设置Dask调度器的方法。

小木 255 2020/05/24 18:34:06 Dask/Python/分布式处理
Dask的Merge操作性能对比

在前面的博客中,我们已经对`Dask`做了一点简单的介绍了,在这篇博客中我们来对比一下`Dask`的`DataFrame`在不同条件下的运算性能,主要是连接操作的性能(merge)。

小木 16 2020/05/24 18:32:52 dask/python/分布式计算
通过命令行的方式建立Dask集群

Dask的集群启动创建也很简单,有好几种方式,最简单的是采用官方提供dask-scheduler和dask-worker命令行方式。本文描述如何使用命令行方法建立Dask集群。

小木 92 2020/05/06 11:41:09 dask/python/分布式编程
并行计算中如何提高处理效率——来自Dask的提示

当数据量达到一定程度,单机的处理能力会无法达到性能的要求,采用并行计算,并利用多台服务器进行分布式处理可能会提升数据处理的速度,达到性能要求。然而如果使用不当,并行处理可能并不会提升处理的速度。这篇博客介绍了Dask中关于并行处理的一些效率方面的建议,尽管是针对Dask的说明,但对于所有的并行处理来说都是适用的。

小木 223 2020/03/31 15:43:31 Dask/Python/分布式数据处理
Dask的本地集群配置和编程

Dask提供了多种分布式调度器,当缺少多台服务器时候,也可以通过本地集群来实现单机分布式的计算。这篇博客主要就是介绍如何实现Dask的单机分布式调度器。第一小节是简介,第二节是单机调度器的简写版本,第三节是单机调度器的完整版本,第四节是使用的一些示例。

小木 203 2020/03/31 14:25:10 Dask/Python/分布式处理/编程
多项式分布的贝叶斯推断

多项式分布是非常常见的分布,他是二项分布在多维上的推广。例如掷骰子结果中,1-6点出现的次数就是一个多项式分布。多项式分布在如主题建模中非常常见,本文将讲述多项式分布的贝叶斯推导过程。

小木 2765 2017/12/01 22:28:46 分布/多项式分布/统计基础/贝叶斯
Dirichlet Distribution(狄利克雷分布)与Dirichlet Process(狄利克雷过程)

Dirichlet过程是一个随机过程,在非参数贝叶斯模型中有广泛运用,最常见的应用是Dirichlet过程混合模型

小木 71707 2017/11/14 15:06:41 Dirichlet分布/Dirichlet过程/无限混合模型/混合模型/贝叶斯模型
贝塔分布(Beta Distribution)简介及其应用

贝塔分布(Beta Distribution)是一个连续的概率分布,它只有两个参数。它最重要的应用是为某项实验的成功概率建模。在本篇博客中,我们使用Beta分布作为描述。

小木 32211 2017/11/08 11:16:18 BetaDistribution/Beta分布/推断/统计
Wishart分布简介

Wishart分布在多元高斯的贝叶斯推断中非常重要。它通常作为正态分布的协方差矩阵的逆矩阵的共轭先验存在。这篇博客将详细讲述Wishart分布及其作用。

小木 14243 2017/11/04 09:29:46 Wishart分布/分布/多元正态分布/统计/高斯分布
多元正态(高斯)分布的贝叶斯推导(Bayesian Inference for the Multivariate Normal)

多元正态(高斯)分布分布是我们最常用的分布之一,这篇博客的主要内容来自Will Penny的文章的翻译。主要讲述关于多元正态分布的贝叶斯推导

小木 5287 2017/11/04 09:29:37 多元正态分布/统计
高斯分布的贝叶斯推断总结

高斯分布是最常见的分布,也是数据挖掘和人工智能中相关统计学习方法所涉及到的最重要的分布之一。使用贝叶斯理论进行统计推断是目前最流行的推断方式。

小木 2986 2017/11/04 09:25:06 正态分布/统计/高斯分布
矩母函数简介(Moment-generating function)

在统计学中,矩母函数是一个关于随机变量的实值函数,它可以替代密度函数来描述分布。也就是说,出了概率密度函数外,我们也可以通过矩母函数来描述分布。

小木 19955 2017/10/20 11:44:18 分布/统计
Dirichlet Tree Distribution(狄利克雷树分布)

狄利克雷分布作为多项式分布的先验大家应该比较熟悉了。这里介绍另外一种Dirichlet树结构的分布,也可以作为多项式分布的先验,但却更加灵活

小木 2460 2017/02/06 21:17:00 Dirichlet/分布/统计基础