ColossalChat
基础大模型ColossalChat
ColossalChat 是由 HPC-AI Tech 发布的 AI 模型，发布时间为 2023-03-29，定位为 基础大模型，参数规模约为 130亿，上下文长度为 2K。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
模型基本信息
开源和体验地址
官方介绍与博客
API接口信息
评测结果
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
发布机构
模型解读
ColossalChat是HPC-AI Tech开源的一个聊天机器人大模型，其基础模型来自于Meta开源的LLaMA（LLaMA模型卡信息： https://www.datalearner.com/ai-models/pretrained-models/LLaMA ）。
ColossalChat的主要特点如下：
- 有一个在线演示的网站，完全免费且不需要注册
- 训练代码完全开源，且是全球第一个公开RLHF训练代码的模型，包括70亿参数和130亿参数预训练结果
- 开源了一个10.4万条中英文数据
- 仅需要4GB的GPU显存即可运行4-bit量化的70亿参数模型
从上述描述可知道，ColossalChat主打就是一个开源，几乎所有的内容都是开源的。就性能方面来说，ColossalChat只需要不到100亿个参数就能达到中英文双语水平，通过在大语言模型基础上进行RLHF微调，达到与ChatGPT和GPT-3.5相当的效果。下图是官方的一个案例：
可以看到，效果还是很好的。我也去官方网站测试了一下，回答的速度和结果都还是不错的。
目前，ColossalChat可以完成的任务非常丰富，包括：
生成任务方面
问答任务
从上面的介绍看，ColossalChat的能力很强。
同样都是来自于MetaAI的LLaMA模型的微调，官方也解释了ColossalChat与斯坦福大学Alpaca（Alpaca模型卡信息： https://www.datalearner.com/ai-models/pretrained-models/stanford-alpaca ）的差异。
现有的开源解决方案只能被视为RLHF（从人类反馈中强化学习）第一阶段的监督微调模型，后续的对齐和微调阶段不执行。此外，Alpaca的训练数据集仅限于英语，这在一定程度上限制了模型的性能。
然而，ChatGPT和GPT-4令人印象深刻的效果是由于在训练过程中引入了RLHF，这增加了生成内容与人类价值的一致性。
ColossalChat基于LLaMA模型，是第一个包含完整的RLHF流程复制类ChatGPT模型的实用开源项目，也是最接近ChatGPT原有技术路线的项目！
在线演示地址： https://chat.colossalai.org/
基础模型
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
