并行计算中如何提高处理效率——来自Dask的提示

当数据量达到一定程度,单机的处理能力会无法达到性能的要求,采用并行计算,并利用多台服务器进行分布式处理可能会提升数据处理的速度,达到性能要求。然而如果使用不当,并行处理可能并不会提升处理的速度。这篇博客介绍了Dask中关于并行处理的一些效率方面的建议,尽管是针对Dask的说明,但对于所有的并行处理来说都是适用的。

小木 1687 Dask/Python/分布式数据处理
时间序列数据处理中的相关数学概念

时间序列数据分析的基础包含大量的统计知识。这篇博客主要用通俗的语言描述时间序列数据中涉及到的一些基本统计知识。

小木 1780 时间序列数据/统计
线性数据结构之跳跃列表(Skip List)详解及其Java实现

数据结构中,自平衡二叉查找树搜索效率高,但是需要通过旋转和变色维护平衡。而列表虽然简单,但是对元素的查找需要比对列表中的每个元素,查找速度较慢。为了兼顾列表的简单易用,并提高查找效率,跳跃列表(Skip List)应运而生。

小木 1639 列表/数据结构/索引
平衡二叉树之红黑树(Red-Black Tree)简介及Java实现

红黑树(Red-Black Tree)也是一种自平衡二叉查找树,与AVL不同的是它依靠节点颜色来维护树的平衡,在自平衡操作的时候,依赖变色和旋转两种操作来进行。

小木 1255 二叉树/数据结构
平衡二叉树之AVL树(Adelson-Velsky and Landis Tree)简介及Java实现

在前面的内容中,我们已经介绍了平衡二叉树。其中提到了AVL树,这是一种非常著名的平衡二叉树。这是第一个发明类似自平衡机制的二叉树数据结构。在AVL树中,任何节点的两个子树的高度最多相差一个。如果在任何时候它们相差多于一个,则重新平衡以恢复此属性。

小木 2025 二叉树/数据结构/自平衡二叉树
二叉查找树(Binary Search Trees,BST)数据结构详解

二叉查找树是一种特殊的二叉树结构,它改善了二叉树的查找效率,二叉查找树相比于其他数据结构的优势在于查找、插入的时间复杂度较低。与一般的二叉树的主要区别就是它对子节点的键值排序有一定要求。

小木 2121 二叉树/数据结构/索引
二叉树(Binary Tree)

二叉树数据结构中一类重要的数据结构,也是树表家族最为基础的结构。二叉树每个节点最多具有两个子节点。本篇博客将简述二叉树原理和应用。

小木 2618 二叉树/数据结构/树结构/编程
平衡二叉树(Balanced Binary Tree)

平衡二叉树(Balanced Binary Tree)是二叉树(Binary Tree)中最重要的一种树结构。由于它保证了一个良好的二叉树形结构,使得其查找、搜索和删除等操作的效率大大提高,是应用最广泛的二叉树。

小木 2295 二叉树/数据结构
大数据环境下的处理系统与数据分析

随着互联网的高速发展,人类进入了一个信息爆炸的时代,每个人的生活都充满了结构化和非结构化的数据。另外,随着以博客、社交网络、基于位置的服务LBS为代表的新型信息发布方式的不断涌现,以及云计算、物联网技术的兴起,数据正以前所未有的速度在不断地增长和积累,数据已经渗透到当今每一个行业和业务职能领域成为重要的产生因素,以数据为驱动的大数据时代已经不可避免地到来。本文主要围绕大数据特征、处理系统、以及大数据分析来阐述大数据环境下的数据分析在思想、流程、方法等方面的转变,以及围绕此主题而出现的相关关键技术与方法。

小木 1552 大数据
Spark源码分析之RDD下的KMeans

这篇博客主要介绍Spark源码中的KMeans部分,说的是RDD下的KMeans源码

小木 3087 scala/spark/大数据
机器学习项目流程清单

从问题定义,到数据获取以及模型选择调参,这篇博客指出了每个过程中需要注意的问题

somTian 1809 数据挖掘/机器学习
帮助你提升知识和技能的17个数据科学项目(都是可以免费获取的)

数据科学项目为我们提供了很好的机会提升我们的技能和知识。这篇博客提供了17个数据科学的项目,都是可以免费获取的项目,大家可以通过这些诶项目学习数据科学相关知识。

小木 1640 数据/数据学习/数据科学
R语言分析面板数据:简单案例

面板数据,即Panel Data,也叫“平行数据”,是指在时间序列上取多个截面,本文介绍了一个R语言处理面板数据的案例

慕清雪 20021 R语言/面板数据