重磅！大规模预训练模型路线图

论文名：A Roadmap for Big Model

发布时间：2022年4月

论文地址：https://arxiv.org/abs/2203.14101

代码地址：

原文摘要：随着深度学习的快速发展，为多个下游任务训练大模型（BMs）成为一种流行的模式。研究人员在BMs的构建和BMs在许多领域的应用方面取得了各种成果。目前，还缺乏对BMs整体进展的梳理和对后续研究的指导的研究工作。在本文中，我们不仅涉及BM技术本身，还包括BM培训和BM应用的前提条件，将BM的回顾分为四个部分。资源、模型、关键技术和应用。在这四个部分中，我们介绍了16个与BM相关的具体主题，它们是数据、知识、计算系统、并行训练系统、语言模型、视觉模型、多模式模型、理论与可解释性、常识性推理、可靠性与安全性、治理、评估、机器翻译、文本生成、对话和蛋白质研究。在每个主题中，我们都清楚地总结了当前的研究，并提出了一些未来的研究方向。在本文的最后，我们从更广阔的视角总结了BMs的进一步发展。