模型详细情况和参数
Phi-1.5是微软的编程大模型Phi-1的迭代版本。在Phi-1模型中,微软证明了使用教科书般高质量的数据集可以让小规模参数的语言模型拥有很高的编程水平。因此,微软继续尝试。
在Phi-1模型的基础上,微软继续加入新的NLP合成文本数据集来提升模型的语言理解能力,最终得到了Phi-1.5模型。
Phi-1.5与Phi-1一样,只有13亿的参数,但是在多个评测上的效果都远超同类规模的模型。而代码能力降低不高。
而这个参数规模是可以在手机上运行的。
微软还训练了另一个模型phi-1.5-web,加入了部分过滤后的网络语料。结果表明,高质量合成数据的作用远远大于网络语料。
Phi-1模型的简介: https://www.datalearner.com/ai-models/pretrained-models/Phi-1