RedPajama-2.8B - RedPajama-2.8B

模型详细情况和参数

RedPajama-2.8B

模型全称
RedPajama-2.8B
模型简称
RedPajama-2.8B
模型类型
发布日期
2023-05-01
预训练文件大小
未知
模型参数数量(亿)
28
代码是否开源
预训练结果是否开源
预训练结果商用授权情况
模型GitHub链接
暂无
模型HuggingFace链接
暂无
发布论文名(官方博客名)
暂无
论文地址(官方博客地址)
暂无
基础模型
无基础模型
发布机构

RedPajama-2.8B 简介

RedPajama-2.8B是TOGETHER在2023年5月1日透露的正在训练的模型。


RedPajama是TOGETHER官方宣布的一项开源项目,其目的是基于MetaAI提供的论文,使用1.2万亿tokens的数据来复现LLaMA的训练过程。该项目最早宣布的是其数据集,4月25日透露正在训练RedPajama-7B模型已经在训练了4400亿tokens数据集之后超过了Pythia-7B的能力。


5月1日,官方透露他们正在训练的28亿参数版本的RedPajama-2.8B,在训练了6000亿tokens数据之后已经超过Pythia-2.8B和GPT-Neo 2.7B的模型。几乎与Pythia-7B模型的能力相当!

欢迎大家关注DataLearner官方微信,接受最新的AI模型和技术推送

RedPajama-2.8B所属的领域
自然语言处理

自然语言处理

Natural Language Process

35个资源

RedPajama-2.8B相关的任务
问答系统

问答系统

Question Answering

35个资源