RedPajama-2.8B - RedPajama-2.8B
模型详细情况和参数
RedPajama-2.8B
- 模型全称
- RedPajama-2.8B
- 模型简称
- RedPajama-2.8B
- 模型类型
- 基础大模型
- 发布日期
- 2023-05-01
- 预训练文件大小
- 未知
- 是否支持中文（中文优化）
- 否
- 最高支持的上下文长度
- 2K
- 模型参数数量（亿）
- 28.0
- 模型GitHub链接
- 暂无
- 模型HuggingFace链接
- 暂无
- 在线演示地址
- 暂无
- 官方博客论文
- 暂无
- 基础模型
- 无基础模型
- 发布机构
RedPajama-2.8B 简介
RedPajama-2.8B是TOGETHER在2023年5月1日透露的正在训练的模型。
RedPajama是TOGETHER官方宣布的一项开源项目，其目的是基于MetaAI提供的论文，使用1.2万亿tokens的数据来复现LLaMA的训练过程。该项目最早宣布的是其数据集，4月25日透露正在训练RedPajama-7B模型已经在训练了4400亿tokens数据集之后超过了Pythia-7B的能力。
5月1日，官方透露他们正在训练的28亿参数版本的RedPajama-2.8B，在训练了6000亿tokens数据之后已经超过Pythia-2.8B和GPT-Neo 2.7B的模型。几乎与Pythia-7B模型的能力相当！
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
RedPajama-2.8B所属的领域
RedPajama-2.8B相关的任务
