PLUG - Pre-training for Language Understanding and Generation

模型详细情况和参数

PLUG

模型全称
Pre-training for Language Understanding and Generation
模型简称
PLUG
模型类型
发布日期
2022-09-01
预训练文件大小
未知
模型参数数量(亿)
270
代码是否开源
预训练结果是否开源
预训练结果商用授权情况
模型GitHub链接
暂无
模型HuggingFace链接
暂无
发布论文名(官方博客名)
PLUG: Pre-training for Language Understanding and Generation
论文地址(官方博客地址)
暂无
基础模型
无基础模型
发布机构

Pre-training for Language Understanding and Generation 简介

PLUG是由阿里巴巴达摩院MinD实验室开源的一个大模型,参数为270亿。是一个用于中文理解和生成的大规模预训练模型。PLUG的训练分为两个阶段,第一阶段是一个24层的StructBERT编码器,第二阶段是一个24-6层的PALM编码器-解码器。


该模型示意图如下:



阿里没有为这个模型发布论文,只是在GitHub上提供了开源链接。最重要的是,其270亿参数规模的预训练结果是提供申请的。只要审批通过即可下载。


在2021年4月20日的CLUE分类任务上,PLUG排行第二,仅次于人类表现。PLUG在其它任务的评测结果如下:


ModelMetricKBQGDuReaderQGDuReader-Robust
plug.zhBLEU-466.3049.2042.83






欢迎大家关注DataLearner官方微信,接受最新的AI模型和技术推送

PLUG所属的领域
PLUG相关的任务