模型详细情况和参数
OpenAssistant是由LAION AI开源的一个AI Chat模型,它的目的是为每个人提供一个访问大模型的机会。
OpenAssistant是一个基于聊天的助手,能够理解任务,可以与第三方系统交互,并动态地检索信息以执行任务。
它可以轻松地扩展和个性化,并作为免费的开源软件开发。
OpenAssistant LLaMA是基于MetaAI开源的LLaMA模型微调得到,目前依然在不断的训练中,官方提供的关于OpenAssistant发展的路线图如下:
目前,官方提供了一个系统供大家使用访问,不过为了提升模型,需要我们自己能完成它们的一些人物获得reward之后才能对话,但是任务都比较简单。
系统地址: https://open-assistant.io/
OpenAssistant LLaMA是OpenAssistant系列模型中目前最大的(截止2023年4月26日),是基于MetaAI的LLaMA模型微调的结果,目前官方提供的模型应该是基于有监督微调的第6次迭代结果,也是目前OpenAssistant系列中最强的模型。
HuggingFace上对应的模型名称是oasst-sft-6-llama-30b-xor,其中oasst表示Open-Assistant,sft表示有监督学习supervised-fine-tuning,6按照LAION AI项目命名习惯应该是第6次迭代,llama表示该模型是基于LLaMA微调的,30b表示300亿参数,xor表示为了提供Open Access模型而提供的XOR weights(原因是MetaAI的限制,所有基于LLaMA微调的模型不能直接提供权重结果)。
不过,oasst-sft-6-llama-30b-xor目前仅在Linux上测试通过,在Windows上使用可能会报错。
OpenAssistant还提供了其它的版本,主要是基于pythia微调的结果供大家使用:
模型名称 | 参数大小 | 说明 |
---|---|---|
oasst-sft-1-pythia-12b | 120亿 | 这是Open-Assistant项目的第一次迭代英语监督微调(supervised-fine-tuning,SFT)模型。它基于一个Pythia 12B模型,该模型在2023年3月7日之前通过https://open-assistant.io/人工反馈Web应用程序收集的约22,000个助手对话人类演示进行微调。 |
oasst-sft-4-pythia-12b-epoch-3.5 | 120亿 | 这是Open-Assistant项目的第四次迭代英语监督微调(SFT)模型。它基于一个Pythia 12B模型,该模型在2023年3月25日之前通过https://open-assistant.io/人工反馈Web应用程序收集的助手对话人类演示进行了微调。 |