RedPajama-2.8B
基础大模型RedPajama-2.8B
发布时间: 2023-05-01
模型参数（Parameters）
28.0
最高上下文长度（Context Length）
2K
是否支持中文
不支持
推理能力（Reasoning）
模型基本信息
是否支持推理过程
不支持
最高上下文输入长度
2K tokens
最长输出结果
暂无数据
模型类型
基础大模型
发布时间
2023-05-01
模型预文件大小
暂无数据
官方介绍与博客
官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度（满分5分）
暂无数据
接口价格
输入价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输出价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输入支持的模态
文本
输入不支持
图片
输入不支持
视频
输入不支持
音频
输入不支持
Embedding（向量）
输入不支持
输出支持的模态
文本
输出不支持
图片
输出不支持
视频
输出不支持
音频
输出不支持
Embedding（向量）
输出不支持
RedPajama-2.8B模型在各大评测榜单的评分
发布机构
TOGETHER
查看发布机构详情
模型介绍
RedPajama-2.8B是TOGETHER在2023年5月1日透露的正在训练的模型。
RedPajama是TOGETHER官方宣布的一项开源项目，其目的是基于MetaAI提供的论文，使用1.2万亿tokens的数据来复现LLaMA的训练过程。该项目最早宣布的是其数据集，4月25日透露正在训练RedPajama-7B模型已经在训练了4400亿tokens数据集之后超过了Pythia-7B的能力。
5月1日，官方透露他们正在训练的28亿参数版本的RedPajama-2.8B，在训练了6000亿tokens数据之后已经超过Pythia-2.8B和GPT-Neo 2.7B的模型。几乎与Pythia-7B模型的能力相当！
关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
