在深度学习训练中,由于数据太大,现在的训练一般是按照一个批次的数据进行训练。批次大小(batch size)的设置在很多论文或者教程中都提示要设置为$2^n$,例如16、32等,这样可能会在现有的硬件中获得更好的性能。但是,目前似乎没有人进行过实际的测试,例如32的batch size与33的batch size性能到底有多大差别?德国的Thomas Bierhance做了一系列实验,以验证批次大小设置为2的幂次方是不是真的可以加速。
关于机器学习理论和实践的信息图
深度学习卷积操作的维度计算(PyTorch/Tensorflow等框架中Conv1d、Conv2d和Conv3d介绍)
多元时间序列数据的预测和建模
深度学习基础——激活函数以及什么时候该使用激活函数
人工智能初创企业Hugging Face是什么样的企业——HuggingFace简介
PyTorch终于支持苹果的M1芯片了!
网络爬虫中的模拟登陆获取数据(实例教学)
使用sklearn做高斯混合聚类(Gaussian Mixture Model)
用python生成随机数的几种方法
深度学习方法:受限玻尔兹曼机RBM【转载】
Dirichlet Distribution(狄利克雷分布)与Dirichlet Process(狄利克雷过程)
回归模型中的交互项简介(Interactions in Regression)
贝塔分布(Beta Distribution)简介及其应用
矩母函数简介(Moment-generating function)
使用R语言进行K-means聚类并分析结果
普通最小二乘法(Ordinary Least Squares,OLS)的详细推导过程
H5文件简介和使用
stata 用outreg2输出回归结果
最小二乘法(Least Squares)详细介绍
深度学习技巧之Early Stopping(早停法)