ERNIE 2.0
基础大模型Enhanced Representation through kNowledge IntEgration 2.0
模型参数
3.4亿
上下文长度
2K
中文支持
不支持
推理能力
Enhanced Representation through kNowledge IntEgration 2.0 是由 百度 发布的 AI 模型，发布时间为 2019-07-00，定位为 基础大模型，参数规模约为 3.4亿，上下文长度为 2K。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
ERNIE 2.0
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2019-07-00
模型文件大小
暂无数据
MoE架构
否
总参数 / 激活参数
3.4亿 / 不涉及
知识截止
暂无数据
ERNIE 2.0
开源和体验地址
代码开源状态
暂无数据
预训练权重开源
暂无数据
GitHub 源码
暂无GitHub开源地址
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址
ERNIE 2.0
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
ERNIE 2.0
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
ERNIE 2.0
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
ERNIE 2.0
发布机构
百度
查看发布机构详情 Enhanced Representation through kNowledge IntEgration 2.0
模型解读
最近，预训练模型在各种语言理解任务中取得了最先进的成果，这表明在大规模语料库上的预训练可能在自然语言处理中发挥了关键作用。目前的预训练程序通常侧重于用几个简单的任务来训练模型，以掌握单词或句子的共现性。然而，除了共现之外，训练语料中还存在其他有价值的词汇、句法和语义信息，如命名实体、语义接近度和话语关系。为了最大限度地提取训练语料中的词汇、句法和语义信息，我们提出了一个名为ERNIE 2.0的持续预训练框架，该框架通过不断的多任务学习，逐步建立和学习预训练任务。实验结果表明，ERNIE 2.0在16个任务上的表现优于BERT和XLNet，包括GLUE基准上的英语任务和中文中的几个常见任务。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
