GPT-Neo(X)

GPT-Neo 是由非营利性组织 EleutherAI 开发的一系列开源语言模型，该组织致力于以更可访问和民主的方式推动人工智能和机器学习的发展。GPT-Neo 模型旨在成为开放和透明的 GPT 模型替代品，后者是由 OpenAI 开发的专有模型。

GPT-Neo 系列包括多个不同大小的模型，从具有 1.25亿参数的 GPT-Neo 125M 到具有 13 亿参数的较大型 GPT-Neo 1.3B。这些模型已经训练过大量的文本数据，包括 Common Crawl、Wikipedia 和其他公开可用的数据源。

像其他基于 transformer 的语言模型一样，GPT-Neo 模型能够生成连贯和上下文适当的文本，并可以针对特定任务进行微调，例如文本补全、问答和语言翻译。GPT-Neo 模型在广泛的自然语言处理任务上取得了出色的表现，并且已经被证明在类似大小的其他开源模型中表现更好。

GPT-Neo 系列的一个值得注意的方面是其致力于开源原则和可访问性。这些模型及其相关代码对任何人都是免费的，这使得最先进的语言处理能力更具民主化的访问性。这种方法允许全球的研究人员和开发人员使用和建立在这些模型之上，推动自然语言处理领域的创新和进步。

2022年4月，GPT-Neo推出新一个版本GPT-NeoX，属于200亿参数规模。

目前，GPT-NEO系列包含几种：

• GPT-Neo系列：与GPT-2类似的架构，参数范围包括1.25亿、3.5亿、13亿和27亿几种。开源地址： https://github.com/EleutherAI/gpt-neo 。不过，目前，该模型已经停止更新了。
• GPT-NeoX系列：2022年2月份宣布的，200亿参数大模型，使用的是GPT-NeoX框架。截至2022年2月，它是已知的可以公开访问的最大的自然语言预训练大模型。不过，GPT-NeoX也包括两个版本，1.0和2.0，参考： https://github.com/EleutherAI/gpt-neox 。