时间序列数据处理中的相关数学概念

时间序列数据分析的基础包含大量的统计知识。这篇博客主要用通俗的语言描述时间序列数据中涉及到的一些基本统计知识。

100天搞定机器学习（100-Days-Of-ML）（一）数据预处理

基于GPU的机器学习Python库——RAPIDS简介及其使用方法

随着深度学习的火热，对计算机算力的要求越来越高。从2012年AlexNet以来，人们越来越多开始使用GPU加速深度学习的计算。 然而，一些传统的机器学习方法对GPU的利用却很少，这浪费了很多的资源和探索的可能。在这里，我们介绍一个非常优秀的项目——RAPIDS，这是一个致力于将GPU加速带给传统算法的项目，并且提供了与Pandas和scikit-learn一致的用法和体验，非常值得大家尝试。

数据科学的Python——keras备忘录发布，含Keras的各种使用样例

神器！AI硬件基准测试库发布

XLNet基本思想简介以及为什么它优于BERT

前几天刚刚发布的XLNet彻底火了，原因是它在20多项任务中超越了BERT。这是一个非常让人惊讶的结果。之前我们也说过，在斯坦福问答系统中，XLNet也取得了目前单模型第一的成绩（总排名第四，前三个模型都是集成模型）。

标签平滑（Label Smoothing）——分类问题中错误标注的一种解决方法

在2016年，Szegedy等人提出了inception v2的模型（论文：Rethinking the inception architecture for computer vision.）。其中提到了Label Smoothing技术，可以提高模型效果。

使用卷积神经网络进行手写识别

本文是发在Medium上的一篇博客：《Handwritten Equation Solver using Convolutional Neural Network》。本文是原文的翻译。这篇文章主要教大家如何使用keras训练手写字符的识别，并保存训练好的模型到本地，以及未来如何调用保存到模型来预测。

Tensorflow中数据集的使用方法（tf.data.Dataset）

Tensorflow中tf.data.Dataset是最常用的数据集类，我们也使用这个类做转换数据、迭代数据等操作。本篇博客将简要描述这个类的使用方法。

CNN中的一些高级技术（空洞卷积/显著图/反卷积）

卷积神经网络是图像识别领域最重要的深度学习技术。也可以说是是本轮深度学习浪潮开始点。本文总结了CNN的三种高级技巧，分别是空洞卷积、显著图和反卷积技术。

一文看懂如何初始化神经网络

深度学习的初始化非常重要，这篇博客主要描述两种初始化方法：一个是Kaiming初始化，一个是LSUV方法。文中对比了不同初始化的效果，并将每一种初始化得到的激活函数的输出都展示出来以查看每种初始化对层的输出的影响。当然，作者最后也发现如果使用了BatchNorm的话，不同的初始化方法结果差不多。说明使用BN可以使得初始化不那么敏感了。

提炼BERT——将BERT转成小模型（Distilling BERT — How to achieve BERT performance using Logistic Regression）

BERT是很好的模型，但是它的参数太大，网络结构太复杂。在很多没有GPU的环境下都无法部署。本文讲的是如何利用BERT构造更好的小的逻辑回归模型来代替原始BERT模型，可以放入生产环境中，以节约资源。

CNN经典算法AlexNet介绍

2012年发表的AlexNet可以算是开启本轮深度学习浪潮的开山之作了。由于AlexNet在ImageNet LSVRC-2012（Large Scale Visual Recognition Competition）赢得第一名，并且错误率只有15.3%（第二名是26.2%），引起了巨大的反响。相比较之前的深度学习网络结构，AlexNet主要的变化在于激活函数采用了Relu、使用Dropout代替正则降低过拟合等。本篇博客将根据其论文，详细讲述AlexNet的网络结构及其特点。

AdaBoost算法详解以及代码实现

AdaBoost，全称是“Adaptive Boosting”，由Freund和Schapire在1995年首次提出，并在1996发布了一篇新的论文证明其在实际数据集中的效果。这篇博客主要解释AdaBoost的算法详情以及实现。它可以理解为是首个“boosting”方式的集成算法。是一个关注二分类的集成算法。

深度学习的反向传播手动推导

反向传播算法是深度学习求解最重要的方法。这里我们手动推导一下。