GPT-NeoX-20B 简介

GPT-NeoX-20B仅支持英文！

GPT-NeoX-20B 是由非营利性组织 EleutherAI 开发的一种最先进的语言模型。它是 GPT-Neo 模型系列的扩展，这是一个由 OpenAI 开发的 GPT-3 的开源替代品。其名称中的“20B”表示模型中的参数数量为 200 亿。

完全免费和开源！

GPT-NeoX-20B 是目前存在的最大和最强大的语言模型之一，具有生成连贯且上下文适当的文本的能力，适用于各种任务，从文本补全到问答和语言翻译。

GPT-NeoX-20B 与其他模型的不同之处在于其能够执行零样本学习和少样本学习。这意味着模型可以快速学习执行新任务，只需要很少的样本，而不需要大量的训练数据或微调。这使得 GPT-NeoX-20B 成为自然语言处理任务的更高效和多功能工具。

GPT-NeoX-20B 是免费和开源的，这意味着世界各地的研究人员和开发人员可以使用和建立在该模型上，以进一步推进自然语言处理领域的发展。EleutherAI 还提供了该模型的预训练权重和代码，使其他人更容易使用和适应该模型用于自己的目的。

在2023年9月3日之前，GPT-NeoX依赖于DeeperSpeed，而DeeperSpeed是基于DeepSpeed的一个旧版本（0.3.15）。为了迁移到最新的DeepSpeed上游版本，同时允许用户访问GPT-NeoX和DeeperSpeed的旧版本，官方已经为这两个库引入了两个版本的发布。

• GPT-NeoX和DeeperSpeed的1.0版本保持了GPT-NeoX-20B和Pythia套件所训练的旧稳定版本的快照。
• 2.0版的GPT-NeoX和DeeperSpeed是建立在最新的DeepSpeed上的最新版本，并将继续保持下去。

详情参考： https://github.com/EleutherAI/gpt-neox