GP

GPT4All J

基础大模型

GPT4All J

发布时间: 2023-04-13

模型参数(Parameters)
60.0
最高上下文长度(Context Length)
2K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

最高上下文输入长度

2K tokens

最长输出结果
未披露
模型类型

基础大模型

发布时间

2023-04-13

模型预文件大小

12.2GB

开源和体验地址

代码开源状态
预训练权重开源
-
GitHub 源码
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

GPT4All J模型在各大评测榜单的评分

发布机构

模型介绍

GPT4All是由NomicAI发布的一系列大语言模型。其中,GPT4All-J是NomicaAI在2023年4月13日开源的一个基于GPT-J微调的大语言模型。


GPT4All-J模型的主要信息

GPT4All此前的版本都是基于MetaAI开源的LLaMA模型微调得到。受限于LLaMA开源协议和商用的限制,基于LLaMA微调的模型都无法商用。而本次NomicAI开源的GPT4All-J的基础模型是由EleutherAI训练的一个号称可以与GPT-3竞争的模型,且开源协议友好。因此,GPT4All-J的开源协议为Apache 2.0,这是友好可商用开源协议。


关于GPT4All-J的模型其它信息如下:

GPT4All-J信息名称GPT4All-J信息结果
发布机构Nomic AI
模型类型基于GPT-J在指令数据集上微调的模型
支持的语言英语
开源协议Apache 2.0
基础模型GPT-J
发布时间2023年4月13日
模型参数60亿


GPT4All-J的不同版本差异和介绍

GPT4All-J也是有很多个基于不同数据微调的版本:

GPT4All-J的版本GPT4All-J的版本说明
GPT4All-J-v1.01.0的基础版本,基于1.0的数据集微调,这也是NomicAI自己收集的指令数据集
GPT4All-J-v1.1-breezy在1.0的数据集上,用AI模型过滤掉一部分数据之后训练
GPT4All-J-v1.2-jazzy在上面过滤的数据集基础上继续删除I'm sorry, I can't answer之类的数据集实例
GPT4All-J-v1.3-groovy将Dolly和ShareGPT添加到了v1.2数据集中,并使用Atlas删除了v1.2数据集中包含语义重复的约8%的数据。



GPT4All-J的测试结果

官方公布了GPT4All-J与其它模型的测试对比结果,效果还是很不错的:

模型名称BoolQPIQAHellaSwagWinoGrandeARC-eARC-cOBQAAvg.
GPT4All-J 6B v1.073.474.863.464.754.936.040.258.2
GPT4All-J v1.1-breezy74.075.163.263.655.434.938.457.8
GPT4All-J v1.2-jazzy74.874.963.663.856.635.341.058.6
GPT4All-J v1.3-groovy73.674.363.863.557.735.038.858.1
GPT4All-J Lora 6B68.675.866.263.556.435.740.258.1
GPT4All LLaMa Lora 7B73.177.672.167.851.140.440.260.3
GPT4All 13B snoozy83.379.275.071.360.944.243.465.3
Dolly 6B68.877.367.663.962.938.741.260.1
Dolly 12B56.775.471.062.264.638.540.458.4
Alpaca 7B73.977.273.966.159.843.343.462.4
Alpaca Lora 7B74.379.374.068.856.643.942.662.8
GPT-J 6.7B65.476.266.264.162.236.638.258.4
LLama 7B73.177.473.066.952.541.442.461.0
LLama 13B68.579.176.270.160.044.642.263.0
Pythia 6.7B63.576.364.061.161.335.237.257.0
Pythia 12B67.776.667.363.863.934.83858.9
Fastchat T581.564.646.361.849.333.339.453.7
Fastchat Vicuña 7B76.677.270.767.353.541.240.861.0
Fastchat Vicuña 13B81.576.873.366.757.442.743.663.1
StableVicuña RLHF82.378.674.170.961.043.544.465.0
StableLM Tuned62.571.253.654.852.431.133.451.3
StableLM Base60.167.441.250.144.927.032.042.2
Koala 13B76.577.972.668.854.341.042.862.0
Open Assistant Pythia 12B67.978.068.165.064.240.443.261.0
Mosaic mpt-7b74.879.376.368.670.042.242.664.8
text-davinci-00388.183.883.475.883.963.951.075.7





Foundation Model

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat
Back to Top