PLUG - Pre-training for Language Understanding and Generation
模型详细情况和参数
PLUG
- 模型全称
- Pre-training for Language Understanding and Generation
- 模型简称
- PLUG
- 模型类型
- 基础大模型
- 发布日期
- 2022-09-01
- 预训练文件大小
- 未知
- 是否支持中文（中文优化）
- 否
- 最高支持的上下文长度
- 2K
- 模型参数数量（亿）
- 270.0
- 模型GitHub链接
- 暂无
- 模型HuggingFace链接
- 暂无
- 在线演示地址
- 暂无
- 基础模型
- 无基础模型
- 发布机构
Pre-training for Language Understanding and Generation 简介
PLUG是由阿里巴巴达摩院MinD实验室开源的一个大模型，参数为270亿。是一个用于中文理解和生成的大规模预训练模型。PLUG的训练分为两个阶段，第一阶段是一个24层的StructBERT编码器，第二阶段是一个24-6层的PALM编码器-解码器。
该模型示意图如下：
阿里没有为这个模型发布论文，只是在GitHub上提供了开源链接。最重要的是，其270亿参数规模的预训练结果是提供申请的。只要审批通过即可下载。
在2021年4月20日的CLUE分类任务上，PLUG排行第二，仅次于人类表现。PLUG在其它任务的评测结果如下：
| Model | Metric | KBQG | DuReaderQG | DuReader-Robust |
|---|---|---|---|---|
| plug.zh | BLEU-4 | 66.30 | 49.20 | 42.83 |
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
