模型详细情况和参数
HunYuan-NLP 1T是腾讯AI大模型“混元”的自然语言领域的预训练大模型。参数1万亿,刷新了中文领域预训练大模型的参数上限。2022年4月份,“混元”大模型取得了中文语言理解评测集合第一名之后,在11月份再次提交了1万亿参数的版本,也是“混元”大模型1万亿参数版本首次出现,并且将评测分数从4月份的80.888分提高到了83.632(4月份的榜单出现的名称是HunYuan_nlp,没有1T的字样)。
不过,该模型并没有发布详细信息,也没有论文可供参考。只有自媒体的文章有一些介绍: https://www.qbitai.com/2022/12/40061.html