GPT-NeoX-20B
GPT-NeoX-20B 是由 EleutherAI 发布的 AI 模型，发布时间为 2022-04-14，定位为 基础大模型，参数规模约为 200.0B，上下文长度为 2K，模型文件大小约 268G。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
GPT-NeoX-20B仅支持英文！
GPT-NeoX-20B 是由非营利性组织 EleutherAI 开发的一种最先进的语言模型。它是 GPT-Neo 模型系列的扩展，这是一个由 OpenAI 开发的 GPT-3 的开源替代品。其名称中的“20B”表示模型中的参数数量为 200 亿。
完全免费和开源！
GPT-NeoX-20B 是目前存在的最大和最强大的语言模型之一，具有生成连贯且上下文适当的文本的能力，适用于各种任务，从文本补全到问答和语言翻译。
GPT-NeoX-20B 与其他模型的不同之处在于其能够执行零样本学习和少样本学习。这意味着模型可以快速学习执行新任务，只需要很少的样本，而不需要大量的训练数据或微调。这使得 GPT-NeoX-20B 成为自然语言处理任务的更高效和多功能工具。
GPT-NeoX-20B 是免费和开源的，这意味着世界各地的研究人员和开发人员可以使用和建立在该模型上，以进一步推进自然语言处理领域的发展。EleutherAI 还提供了该模型的预训练权重和代码，使其他人更容易使用和适应该模型用于自己的目的。
在2023年9月3日之前，GPT-NeoX依赖于DeeperSpeed，而DeeperSpeed是基于DeepSpeed的一个旧版本（0.3.15）。为了迁移到最新的DeepSpeed上游版本，同时允许用户访问GPT-NeoX和DeeperSpeed的旧版本，官方已经为这两个库引入了两个版本的发布。
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
