RedPajama-2.8B
模型参数
28亿
上下文长度
2K
中文支持
不支持
推理能力
RedPajama-2.8B 是由 TOGETHER 发布的 AI 模型，发布时间为 2023-05-01，定位为 基础大模型，参数规模约为 28亿，上下文长度为 2K。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
RedPajama-2.8B
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-05-01
模型文件大小
暂无数据
MoE架构
否
总参数 / 激活参数
28亿 / 不涉及
知识截止
暂无数据
RedPajama-2.8B
开源和体验地址
代码开源状态
暂无数据
预训练权重开源
暂无数据
GitHub 源码
暂无GitHub开源地址
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址
RedPajama-2.8B
官方介绍与博客
官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客
RedPajama-2.8B
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
RedPajama-2.8B
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
RedPajama-2.8B
发布机构
TOGETHER
查看发布机构详情 RedPajama-2.8B
模型解读
RedPajama-2.8B是TOGETHER在2023年5月1日透露的正在训练的模型。
RedPajama是TOGETHER官方宣布的一项开源项目，其目的是基于MetaAI提供的论文，使用1.2万亿tokens的数据来复现LLaMA的训练过程。该项目最早宣布的是其数据集，4月25日透露正在训练RedPajama-7B模型已经在训练了4400亿tokens数据集之后超过了Pythia-7B的能力。
5月1日，官方透露他们正在训练的28亿参数版本的RedPajama-2.8B，在训练了6000亿tokens数据之后已经超过Pythia-2.8B和GPT-Neo 2.7B的模型。几乎与Pythia-7B模型的能力相当！
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
