InternLM 20B 简介

InternLM 20B是上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式推出书生·浦语系列大模型，200亿参数规模。在超过 2.3T Tokens 包含高质量英文、中文和代码的数据上进行预训练，其中 Chat 版本还经过了 SFT 和 RLHF 训练，使其能够更好、更安全地满足用户的需求。

InternLM 20B 在模型结构上选择了深结构，层数设定为60层，超过常规7B和13B模型所使用的32层或者40层。在参数受限的情况下，提高层数有利于提高模型的综合能力。此外，相较于InternLM-7B，InternLM-20B使用的预训练数据经过了更高质量的清洗，并补充了高知识密度和用于强化理解与推理能力的训练数据。因此，它在理解能力、推理能力、数学能力、编程能力等考验语言模型技术水平的方面都得到了显著提升。总体而言，InternLM-20B具有以下的特点：

• 优异的综合性能
• 很强的工具调用功能
• 支持16k语境长度（通过推理时外推）
• 更好的价值对齐