GPT-JT - GPT-JT
模型详细情况和参数
GPT-JT
- 模型全称
- GPT-JT
- 模型简称
- GPT-JT
- 模型类型
- 基础大模型
- 发布日期
- 2022-11-29
- 预训练文件大小
- 12.2GB
- 是否支持中文（中文优化）
- 否
- 最高支持的上下文长度
- 2K
- 模型参数数量（亿）
- 60.0
- 模型HuggingFace链接
- https://huggingface.co/togethercomputer/GPT-JT-6B-v1
- 在线演示地址
- 暂无
- 基础模型
-
GPT-J
查看详情 - 发布机构
GPT-JT 简介
GPT-JT是TOGETHER公司在2022年11月29日发布的一个开源的语言模型，基于GPT-J 6B（ https://www.datalearner.com/ai/pretrained-models/GPT-J%206B ）微调得到。
在EleutherAI发布GPT-J 6B几个星期之后，TOGETHER就在官方宣布开源GPT-JT模型。该模型继续在GPT-J基础上，基于35.3亿tokens数据进行微调，尤其擅长文本分类任务，其效果好于100亿参数规模的模型。
下图是GPT-JT在RAFT的得分测试结果：
可以看到，GPT-JT只比InstructGPT的davinci v2版本稍差，但这是1750亿参数的模型！
- GPT-JT模型也是多家单位合作的成果：
- GPT-JT基于EleutherAI开源的GPT-J模型和数据集训练。
- 基于Google发布的思维链技术和UL2技术
- 使用了Natural-Instructions数据集
- 使用了BigScience的Public Pool of Prompts数据集
- 基于斯坦福的CRFM做评价
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
GPT-JT所属的领域
