Vicuna 7B 简介

--------------2023年8月3日更新--------------------

Vicuna发布1.5版本更新的权重模型，效果更好：   https://huggingface.co/lmsys/vicuna-7b-v1.5 

Vicuna-7B是一个70亿规模的聊天机器人模型，基于MetaAI的LLaMA模型微调得到。

也是Vicuna家族的第2个成员，第一个是130亿参数规模的模型。

Vicuna-7B可以运行在MacBook电脑上，使用M1芯片。

Vicuna-7B模型是基于MetaAI开源的LLaMA模型微调得到，由于LLaMA模型原有协议的限制，本模型也无法商用，即使非商用使用也需要先申请LLaMA的预训练结果。

目前，Vicuna-7B的官方模型有2个版本，分别是delta-v0和delta-v1.1。前者发布于4月7日。4月12日，官方再次更新，发布1.1版本。

权重v1.1的主要更新有2个：

• 重构标记化和分隔符。在Vicuna v1.1中，分隔符已从“###”更改为EOS令牌“</s>”。此更改使确定生成停止条件变得更加容易，并能够更好地与其他库兼容。
• 修复有监督的微调损失计算，以获得更好的模型质量。