GPT4All J
GPT4All J
模型参数
60.0
上下文长度
2K
中文支持
不支持
推理能力
模型基本信息
推理过程
不支持
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
暂无数据
发布时间
2023-04-13
模型文件大小
12.2GB
推理模式
暂无模式数据
开源和体验地址
代码开源状态
暂无数据
预训练权重开源
暂无数据
GitHub 源码
Hugging Face
在线体验
暂无在线体验地址
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
评测得分
当前尚无可展示的评测数据。
发布机构
Nomic AI
查看发布机构详情 模型解读
GPT4All是由NomicAI发布的一系列大语言模型。其中，GPT4All-J是NomicaAI在2023年4月13日开源的一个基于GPT-J微调的大语言模型。
GPT4All-J模型的主要信息
GPT4All此前的版本都是基于MetaAI开源的LLaMA模型微调得到。受限于LLaMA开源协议和商用的限制，基于LLaMA微调的模型都无法商用。而本次NomicAI开源的GPT4All-J的基础模型是由EleutherAI训练的一个号称可以与GPT-3竞争的模型，且开源协议友好。因此，GPT4All-J的开源协议为Apache 2.0，这是友好可商用开源协议。
关于GPT4All-J的模型其它信息如下：
| GPT4All-J信息名称 | GPT4All-J信息结果 |
|---|---|
| 发布机构 | Nomic AI |
| 模型类型 | 基于GPT-J在指令数据集上微调的模型 |
| 支持的语言 | 英语 |
| 开源协议 | Apache 2.0 |
| 基础模型 | GPT-J |
| 发布时间 | 2023年4月13日 |
| 模型参数 | 60亿 |
GPT4All-J的不同版本差异和介绍
GPT4All-J也是有很多个基于不同数据微调的版本：
| GPT4All-J的版本 | GPT4All-J的版本说明 |
|---|---|
| GPT4All-J-v1.0 | 1.0的基础版本，基于1.0的数据集微调，这也是NomicAI自己收集的指令数据集 |
| GPT4All-J-v1.1-breezy | 在1.0的数据集上，用AI模型过滤掉一部分数据之后训练 |
| GPT4All-J-v1.2-jazzy | 在上面过滤的数据集基础上继续删除I'm sorry, I can't answer之类的数据集实例 |
| GPT4All-J-v1.3-groovy | 将Dolly和ShareGPT添加到了v1.2数据集中，并使用Atlas删除了v1.2数据集中包含语义重复的约8%的数据。 |
GPT4All-J的测试结果
官方公布了GPT4All-J与其它模型的测试对比结果，效果还是很不错的：
| 模型名称 | BoolQ | PIQA | HellaSwag | WinoGrande | ARC-e | ARC-c | OBQA | Avg. |
|---|---|---|---|---|---|---|---|---|
| GPT4All-J 6B v1.0 | 73.4 | 74.8 | 63.4 | 64.7 | 54.9 | 36.0 | 40.2 | 58.2 |
| GPT4All-J v1.1-breezy | 74.0 | 75.1 | 63.2 | 63.6 | 55.4 | 34.9 | 38.4 | 57.8 |
| GPT4All-J v1.2-jazzy | 74.8 | 74.9 | 63.6 | 63.8 | 56.6 | 35.3 | 41.0 | 58.6 |
| GPT4All-J v1.3-groovy | 73.6 | 74.3 | 63.8 | 63.5 | 57.7 | 35.0 | 38.8 | 58.1 |
| GPT4All-J Lora 6B | 68.6 | 75.8 | 66.2 | 63.5 | 56.4 | 35.7 | 40.2 | 58.1 |
| GPT4All LLaMa Lora 7B | 73.1 | 77.6 | 72.1 | 67.8 | 51.1 | 40.4 | 40.2 | 60.3 |
| GPT4All 13B snoozy | 83.3 | 79.2 | 75.0 | 71.3 | 60.9 | 44.2 | 43.4 | 65.3 |
| Dolly 6B | 68.8 | 77.3 | 67.6 | 63.9 | 62.9 | 38.7 | 41.2 | 60.1 |
| Dolly 12B | 56.7 | 75.4 | 71.0 | 62.2 | 64.6 | 38.5 | 40.4 | 58.4 |
| Alpaca 7B | 73.9 | 77.2 | 73.9 | 66.1 | 59.8 | 43.3 | 43.4 | 62.4 |
| Alpaca Lora 7B | 74.3 | 79.3 | 74.0 | 68.8 | 56.6 | 43.9 | 42.6 | 62.8 |
| GPT-J 6.7B | 65.4 | 76.2 | 66.2 | 64.1 | 62.2 | 36.6 | 38.2 | 58.4 |
| LLama 7B | 73.1 | 77.4 | 73.0 | 66.9 | 52.5 | 41.4 | 42.4 | 61.0 |
| LLama 13B | 68.5 | 79.1 | 76.2 | 70.1 | 60.0 | 44.6 | 42.2 | 63.0 |
| Pythia 6.7B | 63.5 | 76.3 | 64.0 | 61.1 | 61.3 | 35.2 | 37.2 | 57.0 |
| Pythia 12B | 67.7 | 76.6 | 67.3 | 63.8 | 63.9 | 34.8 | 38 | 58.9 |
| Fastchat T5 | 81.5 | 64.6 | 46.3 | 61.8 | 49.3 | 33.3 | 39.4 | 53.7 |
| Fastchat Vicuña 7B | 76.6 | 77.2 | 70.7 | 67.3 | 53.5 | 41.2 | 40.8 | 61.0 |
| Fastchat Vicuña 13B | 81.5 | 76.8 | 73.3 | 66.7 | 57.4 | 42.7 | 43.6 | 63.1 |
| StableVicuña RLHF | 82.3 | 78.6 | 74.1 | 70.9 | 61.0 | 43.5 | 44.4 | 65.0 |
| StableLM Tuned | 62.5 | 71.2 | 53.6 | 54.8 | 52.4 | 31.1 | 33.4 | 51.3 |
| StableLM Base | 60.1 | 67.4 | 41.2 | 50.1 | 44.9 | 27.0 | 32.0 | 42.2 |
| Koala 13B | 76.5 | 77.9 | 72.6 | 68.8 | 54.3 | 41.0 | 42.8 | 62.0 |
| Open Assistant Pythia 12B | 67.9 | 78.0 | 68.1 | 65.0 | 64.2 | 40.4 | 43.2 | 61.0 |
| Mosaic mpt-7b | 74.8 | 79.3 | 76.3 | 68.6 | 70.0 | 42.2 | 42.6 | 64.8 |
| text-davinci-003 | 88.1 | 83.8 | 83.4 | 75.8 | 83.9 | 63.9 | 51.0 | 75.7 |
基础模型
GPT-J
查看详情