PLUG
Pre-training for Language Understanding and Generation
模型参数
270.0
上下文长度
2K
中文支持
不支持
推理能力
模型基本信息
推理过程
不支持
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
暂无数据
发布时间
2022-09-01
模型文件大小
暂无数据
推理模式
暂无模式数据
开源和体验地址
代码开源状态
暂无数据
预训练权重开源
暂无数据
GitHub 源码
暂无GitHub开源地址
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址
官方介绍与博客
官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
评测得分
当前尚无可展示的评测数据。
发布机构
腾讯AI实验室
查看发布机构详情 模型解读
PLUG是由阿里巴巴达摩院MinD实验室开源的一个大模型，参数为270亿。是一个用于中文理解和生成的大规模预训练模型。PLUG的训练分为两个阶段，第一阶段是一个24层的StructBERT编码器，第二阶段是一个24-6层的PALM编码器-解码器。
该模型示意图如下：
阿里没有为这个模型发布论文，只是在GitHub上提供了开源链接。最重要的是，其270亿参数规模的预训练结果是提供申请的。只要审批通过即可下载。
在2021年4月20日的CLUE分类任务上，PLUG排行第二，仅次于人类表现。PLUG在其它任务的评测结果如下：
| Model | Metric | KBQG | DuReaderQG | DuReader-Robust |
|---|---|---|---|---|
| plug.zh | BLEU-4 | 66.30 | 49.20 | 42.83 |