ERNIE 2.0
Enhanced Representation through kNowledge IntEgration 2.0
模型参数
3.4亿
上下文长度
2K
中文支持
不支持
推理能力
模型基本信息
推理过程
不支持
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
暂无数据
发布时间
2019-07-00
模型文件大小
暂无数据
MoE架构
否
总参数 / 激活参数
3.4 亿 / 不涉及
知识截止
暂无数据
推理模式
暂无模式数据
开源和体验地址
代码开源状态
暂无数据
预训练权重开源
暂无数据
GitHub 源码
暂无GitHub开源地址
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
评测得分
当前尚无可展示的评测数据。
发布机构
百度
查看发布机构详情 模型解读
最近，预训练模型在各种语言理解任务中取得了最先进的成果，这表明在大规模语料库上的预训练可能在自然语言处理中发挥了关键作用。目前的预训练程序通常侧重于用几个简单的任务来训练模型，以掌握单词或句子的共现性。然而，除了共现之外，训练语料中还存在其他有价值的词汇、句法和语义信息，如命名实体、语义接近度和话语关系。为了最大限度地提取训练语料中的词汇、句法和语义信息，我们提出了一个名为ERNIE 2.0的持续预训练框架，该框架通过不断的多任务学习，逐步建立和学习预训练任务。实验结果表明，ERNIE 2.0在16个任务上的表现优于BERT和XLNet，包括GLUE基准上的英语任务和中文中的几个常见任务。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
