清华大学开源中文版ChatGPT模型——ChatGLM-6B发布

ChatGLM-6B是清华大学知识工程和数据挖掘小组（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）发布的一个开源的对话机器人。根据官方介绍，这是一个千亿参数规模的中英文语言模型。并且对中文做了优化。本次开源的版本是其60亿参数的小规模版本，约60亿参数，本地部署仅需要6GB显存（INT4量化级别）。

ChatGLM-6B模型卡信息：https://www.datalearner.com/ai-models/pretrained-models/ChatGLM-6B

从目前的使用情况看，这个模型虽然不大，但也是与ChatGPT类似，做了针对对话的调优，使用体验很好。

下图是几个对话实例：
<center></center>
<center>![](https://www.datalearner.com/resources/blog_images/fd9fb09d-e2f4-4ce6-b824-0acd81284412.png)</center>
<center></center>

<center></center>
<center>![](https://www.datalearner.com/resources/blog_images/8cc0a7d4-900d-4b9c-91e0-91f61b312a13.png)</center>
<center></center>

该模型的基础模型是GLM（ GLM: General Language Model Pretraining with Autoregressive Blank Infilling ），是一个千亿基座模型，目前仅接受内测邀请。

根据测试，ChatGLM-6B虽然参数很少，但是效果很好。对于硬件的需求也很低。

硬件需求：

| 量化等级  | 最低GPU显存  |
| ------------ | ------------ |
| FP16（无量化）  | 13GB  |
| INT8  | 10GB  |
|INT4|6GB|

ChatGLM-6B模型的具体安装使用方法以及其它信息，请参考ChatGLM-6B模型卡内容：https://www.datalearner.com/ai-models/pretrained-models/ChatGLM-6B

相关博客

最热博客