GPT-JT 简介

GPT-JT是TOGETHER公司在2022年11月29日发布的一个开源的语言模型，基于GPT-J 6B（ https://www.datalearner.com/ai/pretrained-models/GPT-J%206B ）微调得到。

在EleutherAI发布GPT-J 6B几个星期之后，TOGETHER就在官方宣布开源GPT-JT模型。该模型继续在GPT-J基础上，基于35.3亿tokens数据进行微调，尤其擅长文本分类任务，其效果好于100亿参数规模的模型。

下图是GPT-JT在RAFT的得分测试结果：

可以看到，GPT-JT只比InstructGPT的davinci v2版本稍差，但这是1750亿参数的模型！

• GPT-JT模型也是多家单位合作的成果：
• GPT-JT基于EleutherAI开源的GPT-J模型和数据集训练。
• 基于Google发布的思维链技术和UL2技术
• 使用了Natural-Instructions数据集
• 使用了BigScience的Public Pool of Prompts数据集
• 基于斯坦福的CRFM做评价