RedPajama-2.8B
RedPajama-2.8B
模型参数
28.0亿
上下文长度
2K
中文支持
不支持
推理能力
模型基本信息
推理过程
不支持
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
暂无数据
发布时间
2023-05-01
模型文件大小
暂无数据
MoE架构
否
总参数 / 激活参数
28.0 亿 / 不涉及
知识截止
暂无数据
推理模式
暂无模式数据
开源和体验地址
代码开源状态
暂无数据
预训练权重开源
暂无数据
GitHub 源码
暂无GitHub开源地址
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址
官方介绍与博客
官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
评测得分
当前尚无可展示的评测数据。
发布机构
TOGETHER
查看发布机构详情 模型解读
RedPajama-2.8B是TOGETHER在2023年5月1日透露的正在训练的模型。
RedPajama是TOGETHER官方宣布的一项开源项目，其目的是基于MetaAI提供的论文，使用1.2万亿tokens的数据来复现LLaMA的训练过程。该项目最早宣布的是其数据集，4月25日透露正在训练RedPajama-7B模型已经在训练了4400亿tokens数据集之后超过了Pythia-7B的能力。
5月1日，官方透露他们正在训练的28亿参数版本的RedPajama-2.8B，在训练了6000亿tokens数据之后已经超过Pythia-2.8B和GPT-Neo 2.7B的模型。几乎与Pythia-7B模型的能力相当！
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
