Tsinghua-ERNIE
基础大模型Enhanced Language Representation with Informative Entities
发布时间: 2019-05-17
模型参数（Parameters）
1.14
最高上下文长度（Context Length）
2K
是否支持中文
支持
推理能力（Reasoning）
模型基本信息
最高上下文输入长度
2K tokens
最长输出结果
未披露
模型类型
基础大模型
发布时间
2019-05-17
模型预文件大小
0.218
开源和体验地址
官方介绍与博客
API接口信息
接口速度
暂无数据
接口价格
输入价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输出价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输入支持的模态
文本
输入不支持
图片
输入不支持
视频
输入不支持
音频
输入不支持
Embedding（向量）
输入不支持
输出支持的模态
文本
输出不支持
图片
输出不支持
视频
输出不支持
音频
输出不支持
Embedding（向量）
输出不支持
Tsinghua-ERNIE模型在各大评测榜单的评分
发布机构
智谱AI
查看发布机构详情
模型介绍
神经语言表示模型，如在大规模语料库上预训练的BERT，可以很好地从纯文本中捕捉到丰富的语义模式，并进行微调以持续改进各种NLP任务的性能。然而，现有的预训练语言模型很少考虑将知识图谱（KG）纳入其中，KG可以提供丰富的结构化知识事实以实现更好的语言理解。我们认为，KG中的信息实体可以增强语言表示的外部知识。在本文中，我们利用大规模文本语料库和KG训练了一个增强语言表示模型（ERNIE），可以同时充分利用词汇、句法和知识信息。实验结果表明，ERNIE在各种知识驱动任务上取得了显著的改进，同时在其他常见NLP任务上与最先进的模型BERT相当。
预训练结果下载地址： https://cloud.tsinghua.edu.cn/f/a763616323f946fd8ff6/
关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
