ChatGLM2-6B-32K 简介

ChatGLM2-6B-32K是智谱AI发布的基于ChatGLM2-6B的基础上微调的针对长上下文优化的大模型，能够更好的处理最多32K长度的上下文。

此前，ChatGLM2-6B刚发布的时候，官方宣称该模型最高支持32K长上下文输入，但是LM-SYS官方测试显示ChatGLM2-6B在超过8K长度时候表现很糟糕： 支持超长上下文输入的大语言模型评测和总结——ChatGLM2-6B表现惨烈，最强的依然是商业模型GPT-3.5与Claude-1.3 。

具体来说，ChatGLM2-6B-32K基于位置插值（Positional Interpolation）的方法对位置编码进行了更新，并在对话阶段使用 32K 的上下文长度训练。在实际的使用中，官方推荐如果上下文长度基本在 8K 以内，建议使用ChatGLM2-6B；如果需要处理超过 8K 的上下文长度，推荐使用ChatGLM2-6B-32K。

ChatGLM2-6B-32K是开源中英双语对话模型 ChatGLM2-6B 的加长版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B-32k 引入了如下新特性：

1. 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B-32K 的基座模型。ChatGLM2-6B-32K 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练。
2. 更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 32K 的上下文长度训练，允许更多轮次的对话。
3. 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B-32K 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。
4. 更开放的协议：ChatGLM2-6B-32K 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。