GPT-JT
基础大模型GPT-JT
发布时间: 2022-11-29
模型参数（Parameters）
60.0
最高上下文长度（Context Length）
2K
是否支持中文
不支持
推理能力（Reasoning）
模型基本信息
是否支持推理过程
不支持
最高上下文输入长度
2K tokens
最长输出结果
暂无数据
模型类型
基础大模型
发布时间
2022-11-29
模型预文件大小
12.2GB
开源和体验地址
代码开源状态
预训练权重开源
GitHub 源码
Hugging Face
在线体验
暂无在线体验地址
官方介绍与博客
API接口信息
接口速度（满分5分）
暂无数据
接口价格
输入价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输出价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输入支持的模态
文本
输入不支持
图片
输入不支持
视频
输入不支持
音频
输入不支持
Embedding（向量）
输入不支持
输出支持的模态
文本
输出不支持
图片
输出不支持
视频
输出不支持
音频
输出不支持
Embedding（向量）
输出不支持
GPT-JT模型在各大评测榜单的评分
发布机构
TOGETHER
查看发布机构详情
模型介绍
GPT-JT是TOGETHER公司在2022年11月29日发布的一个开源的语言模型，基于GPT-J 6B（ https://www.datalearner.com/ai/pretrained-models/GPT-J%206B ）微调得到。
在EleutherAI发布GPT-J 6B几个星期之后，TOGETHER就在官方宣布开源GPT-JT模型。该模型继续在GPT-J基础上，基于35.3亿tokens数据进行微调，尤其擅长文本分类任务，其效果好于100亿参数规模的模型。
下图是GPT-JT在RAFT的得分测试结果：
可以看到，GPT-JT只比InstructGPT的davinci v2版本稍差，但这是1750亿参数的模型！
- GPT-JT模型也是多家单位合作的成果：
- GPT-JT基于EleutherAI开源的GPT-J模型和数据集训练。
- 基于Google发布的思维链技术和UL2技术
- 使用了Natural-Instructions数据集
- 使用了BigScience的Public Pool of Prompts数据集
- 基于斯坦福的CRFM做评价
Foundation Model
GPT-J
View Details关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
