OP

OpenAssistant-Pythia

基础大模型OpenAssistant

OpenAssistant-Pythia

发布时间: 2023-04-03更新于: 2023-04-26 22:11:41.477519
模型参数
120亿
上下文长度
2K
中文支持
不支持
推理能力

OpenAssistant-Pythia 是由 LAION AI 发布的 AI 模型,发布时间为 2023-04-03,定位为 基础大模型,参数规模约为 120亿,上下文长度为 2K,模型文件大小约 23。

数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法

OpenAssistant-Pythia

模型基本信息

推理过程
不支持
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-04-03
模型文件大小
23
MoE架构
总参数 / 激活参数
120亿 / 不涉及
知识截止
暂无数据
OpenAssistant-Pythia

开源和体验地址

代码开源状态
暂无数据
预训练权重开源
暂无数据
在线体验
暂无在线体验地址
OpenAssistant-Pythia

官方介绍与博客

官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客
OpenAssistant-Pythia

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。
OpenAssistant-Pythia

评测结果

当前尚无可展示的评测数据。

和其他模型对比

暂时没有为该模型整理的相关对比页面。

想自定义其他组合?打开对比工具

OpenAssistant-Pythia

发布机构

OpenAssistant-Pythia

模型解读

OpenAssistant-Pythia是OpenAssistant系列中基于Pythia模型微调得到的结果。


Pythia是由EleutherAI开源的一组大模型(Pythia模型信息卡: https://www.datalearner.com/ai-models/pretrained-models/Pythia )。


目前,OpenAssistant基于Pythia微调的模型分为两类:一类是基于有监督学习微调的模型,名字带有sft,一类是基于奖励模型的微调,名字带有rm



模型名称参数大小说明
oasst-sft-1-pythia-12b120亿这是Open-Assistant项目的第一次迭代英语监督微调(supervised-fine-tuning,SFT)模型。它基于一个Pythia 12B模型,该模型在2023年3月7日之前通过https://open-assistant.io/人工反馈Web应用程序收集的约22,000个助手对话人类演示进行微调。
oasst-sft-4-pythia-12b-epoch-3.5120亿这是Open-Assistant项目的第四次迭代英语监督微调(SFT)模型。它基于一个Pythia 12B模型,该模型在2023年3月25日之前通过https://open-assistant.io/人工反馈Web应用程序收集的助手对话人类演示进行了微调。
oasst-rm-2.1-pythia-1.4b-epoch-2.514亿基于pythia-1.4b-gpt4all-pretrain微调结果
oasst-rm-2-pythia-6.9b-epoch-169亿基于pythia-6.9b-gpt4all-pretrain微调结果
oasst-rm-2.1-pythia-1.4b-epoch-2.514亿基于pythia-1.4b-gpt4all-pretrain微调结果


基础模型

DataLearner 官方微信

欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送

DataLearner 官方微信二维码