深度学习训练加速技术的趋势与机会——劳伦斯利弗莫尔国家实验室研究人员最新长篇综述

论文名：Compute-Efficient Deep Learning: Algorithmic Trends and Opportunities

发布时间：2022-10-13

论文地址：https://arxiv.org/abs/2210.06640

代码地址：

原文摘要：尽管近年来深度学习取得了巨大的进展，但训练神经网络的爆炸性经济和环境成本正变得不可持续。为了解决这个问题，人们对*算法高效的深度学习*进行了大量的研究，其目的不是在硬件或实现层面降低训练成本，而是通过改变训练程序的语义来实现。在本文中，我们对这一领域的研究进行了结构化和全面的概述。首先，我们对*算法加速*问题进行了形式化，然后我们使用算法高效训练的基本构件来开发一个分类法。我们的分类法强调了看似不同的方法的共性，并揭示了当前的研究差距。接下来，我们提出了评估的最佳做法，以便对加速技术进行全面、公平和可靠的比较。为了进一步帮助研究和应用，我们讨论了训练管道中的常见瓶颈（通过实验来说明），并为它们提供了分类学的缓解策略。最后，我们强调了一些尚未解决的研究挑战，并提出了有希望的未来方向。