模型详细情况和参数
OpenChat是一系列开源语言模型,在多轮对话的多样化和高质量数据集上进行了微调。OpenChat仅从约90K个ShareGPT会话中筛选出约6K个GPT-4会话,旨在用有限的数据实现高性能。
OpenChat-8192是基于LLaMA 13B模型微调后得到的,但是将上下文长度的限制拓展到了8K,即8192个tokens(原始LLaMA只支持2K的上下文长度的输入)。OpenChat-8192在Vicuna GPT-4测试中超过了ChatGPT。在AlpacaEval测试中获得了79.5分。比OpenChat略低。