DBRX Instruct
发布时间: 2024-03-27
32K tokens
聊天大模型
2024-03-27
264GB
输入不支持
输入不支持
输入不支持
输入不支持
输入不支持
输出不支持
输出不支持
输出不支持
输出不支持
输出不支持
DBRX Instruct是基于DBRX Base模型进行指令优化微调得到的一个大语言模型。它是由Databricks开源。包含了1320亿参数的混合专家大模型。共16个专家网络,每次推理有4个专家工作,激活360亿的参数。
该模型在各个评测结果上表现都很好,超过了另外两个著名的混合专家模型Mixtral-8*7B-MoE模型和马斯克开眼的Grok-1模型。前者是由MistralAI开源的著名的混合专家模型,也是此前开源大模型中表现最好的模型之一。
关于Mixtral-8*7B-MoE模型参考: https://www.datalearner.com/ai-models/pretrained-models/Mistral-7B-MoE
关于Grok-1模型参考: https://www.datalearner.com/ai-models/pretrained-models/Grok-1
关注DataLearnerAI微信公众号,接受最新大模型资讯