数据学习
登录
注册
原创博客
期刊会议
学术世界
期刊出版社
领域期刊
SCI/SCIE/SSCI/EI简介
期刊列表
会议列表
所有期刊分区
学术期刊信息检索
JCR期刊分区查询
CiteScore期刊分区查询
中科院期刊分区查询
领域期刊分区
管理 - UTD24期刊列表
管理 - AJG（ABS）期刊星级查询
管理 - FMS推荐期刊列表
计算机 - CCF推荐期刊会议列表
高校期刊分区
南大核心（CSSCI）
合工大小核心
合工大大核心
AI资源仓库
AI领域与任务
AI研究机构
AI学术期刊
AI论文快讯
AI数据集
AI开源工具
AI模型
AI模型概览图
AI模型月报
AI基础大模型
AI预训练大模型
数据推荐
网址导航
我的网址导航
程序员必备网站
重磅！大规模预训练模型路线图
标签：
#论文快讯#
时间：2022/03/30 09:14:20
作者：小木
重磅新论文！北京人工智能研究员与清华大学、腾讯、华为、字节等公司一起发表了一篇关于大规模预训练模型路线图的论文。  随着深度学习的发展，为下游任务建立大规模预训练模型是现在很流行的模式，也在各个领域取得的了很好的效果。但是针对全体大规模预训练模型的进展梳理还比较缺乏，本文整体梳理了近几年大规模预训练模型的各个进展。这篇论文对大规模预训练模型的四块做了分析，分别是资源、模型、关键技术和应用，共16个相关的主题，分别是数据、知识、计算系统、并行训练系统、语言模型、视觉模型、多模式模型、理论与可解释性、常识性推理、可靠性与安全性、治理、评估、机器翻译、文本生成、对话和蛋白质研究。几乎涵盖了所有的大规模预训练模型的理论与技术。    这篇论文共99个作者，200页，1637篇参考文献，规模很大，内容很详细。大家可以好好学习一下。 论文链接：http://arxiv.org/abs/2203.14101
欢迎大家关注DataLearner官方微信，接受最新的AI技术推送
相关博客
最热博客
