PLUG
基础大模型Pre-training for Language Understanding and Generation
发布时间: 2022-09-01
模型参数（Parameters）
270.0
最高上下文长度（Context Length）
2K
是否支持中文
不支持
推理能力（Reasoning）
模型基本信息
是否支持推理过程
不支持
最高上下文输入长度
2K tokens
最长输出结果
暂无数据
模型类型
基础大模型
发布时间
2022-09-01
模型预文件大小
暂无数据
官方介绍与博客
API接口信息
接口速度（满分5分）
暂无数据
接口价格
输入价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输出价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输入支持的模态
文本
输入不支持
图片
输入不支持
视频
输入不支持
音频
输入不支持
Embedding（向量）
输入不支持
输出支持的模态
文本
输出不支持
图片
输出不支持
视频
输出不支持
音频
输出不支持
Embedding（向量）
输出不支持
PLUG模型在各大评测榜单的评分
发布机构
腾讯AI实验室
查看发布机构详情
模型介绍
PLUG是由阿里巴巴达摩院MinD实验室开源的一个大模型，参数为270亿。是一个用于中文理解和生成的大规模预训练模型。PLUG的训练分为两个阶段，第一阶段是一个24层的StructBERT编码器，第二阶段是一个24-6层的PALM编码器-解码器。
该模型示意图如下：
阿里没有为这个模型发布论文，只是在GitHub上提供了开源链接。最重要的是，其270亿参数规模的预训练结果是提供申请的。只要审批通过即可下载。
在2021年4月20日的CLUE分类任务上，PLUG排行第二，仅次于人类表现。PLUG在其它任务的评测结果如下：
| Model | Metric | KBQG | DuReaderQG | DuReader-Robust |
|---|---|---|---|---|
| plug.zh | BLEU-4 | 66.30 | 49.20 | 42.83 |
关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
