ERNIE 2.0
基础大模型Enhanced Representation through kNowledge IntEgration 2.0
发布时间: 2019-07-00
模型参数（Parameters）
3.4
最高上下文长度（Context Length）
2K
是否支持中文
不支持
推理能力（Reasoning）
模型基本信息
最高上下文输入长度
2K tokens
最长输出结果
未披露
模型类型
基础大模型
发布时间
2019-07-00
模型预文件大小
暂无数据
官方介绍与博客
官方论文
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
接口价格
输入价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输出价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输入支持的模态
文本
输入不支持
图片
输入不支持
视频
输入不支持
音频
输入不支持
Embedding（向量）
输入不支持
输出支持的模态
文本
输出不支持
图片
输出不支持
视频
输出不支持
音频
输出不支持
Embedding（向量）
输出不支持
ERNIE 2.0模型在各大评测榜单的评分
发布机构
百度
查看发布机构详情
模型介绍
最近，预训练模型在各种语言理解任务中取得了最先进的成果，这表明在大规模语料库上的预训练可能在自然语言处理中发挥了关键作用。目前的预训练程序通常侧重于用几个简单的任务来训练模型，以掌握单词或句子的共现性。然而，除了共现之外，训练语料中还存在其他有价值的词汇、句法和语义信息，如命名实体、语义接近度和话语关系。为了最大限度地提取训练语料中的词汇、句法和语义信息，我们提出了一个名为ERNIE 2.0的持续预训练框架，该框架通过不断的多任务学习，逐步建立和学习预训练任务。实验结果表明，ERNIE 2.0在16个任务上的表现优于BERT和XLNet，包括GLUE基准上的英语任务和中文中的几个常见任务。
关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
