Op

OpenAssistant LLaMA

基础大模型

OpenAssistant LLaMA

发布时间: 2023-03-09

模型参数(Parameters)
300.0
最高上下文长度(Context Length)
2K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

最高上下文输入长度

2K tokens

最长输出结果
未披露
模型类型

基础大模型

发布时间

2023-03-09

模型预文件大小

60G

开源和体验地址

代码开源状态
预训练权重开源
-
GitHub 源码
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
暂无
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

OpenAssistant LLaMA模型在各大评测榜单的评分

发布机构

模型介绍

OpenAssistant是由LAION AI开源的一个AI Chat模型,它的目的是为每个人提供一个访问大模型的机会。


OpenAssistant是一个基于聊天的助手,能够理解任务,可以与第三方系统交互,并动态地检索信息以执行任务。

它可以轻松地扩展和个性化,并作为免费的开源软件开发。


OpenAssistant LLaMA是基于MetaAI开源的LLaMA模型微调得到,目前依然在不断的训练中,官方提供的关于OpenAssistant发展的路线图如下:



目前,官方提供了一个系统供大家使用访问,不过为了提升模型,需要我们自己能完成它们的一些人物获得reward之后才能对话,但是任务都比较简单。


系统地址: https://open-assistant.io/ 


OpenAssistant LLaMA是OpenAssistant系列模型中目前最大的(截止2023年4月26日),是基于MetaAI的LLaMA模型微调的结果,目前官方提供的模型应该是基于有监督微调的第6次迭代结果,也是目前OpenAssistant系列中最强的模型。


HuggingFace上对应的模型名称是oasst-sft-6-llama-30b-xor,其中oasst表示Open-Assistant,sft表示有监督学习supervised-fine-tuning,6按照LAION AI项目命名习惯应该是第6次迭代,llama表示该模型是基于LLaMA微调的,30b表示300亿参数,xor表示为了提供Open Access模型而提供的XOR weights(原因是MetaAI的限制,所有基于LLaMA微调的模型不能直接提供权重结果)。


不过,oasst-sft-6-llama-30b-xor目前仅在Linux上测试通过,在Windows上使用可能会报错。


OpenAssistant还提供了其它的版本,主要是基于pythia微调的结果供大家使用:

模型名称参数大小说明
oasst-sft-1-pythia-12b120亿这是Open-Assistant项目的第一次迭代英语监督微调(supervised-fine-tuning,SFT)模型。它基于一个Pythia 12B模型,该模型在2023年3月7日之前通过https://open-assistant.io/人工反馈Web应用程序收集的约22,000个助手对话人类演示进行微调。
oasst-sft-4-pythia-12b-epoch-3.5120亿这是Open-Assistant项目的第四次迭代英语监督微调(SFT)模型。它基于一个Pythia 12B模型,该模型在2023年3月25日之前通过https://open-assistant.io/人工反馈Web应用程序收集的助手对话人类演示进行了微调。



Foundation Model

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat
Back to Top