微软发布的第三代Phi模型。Phi系列是微软开发的小规模参数语言模型，在30亿及以下的参数规模中，表现亮眼。前两代模型都在30亿参数规模，第三代模型最高参数量达到140亿。

这里的Phi-3-meidum-14B是第三代Phi模型中最大的一个版本，参数规模140亿。架构与最小的Phi-3-mini-3.8B相同，tokenizer是byte-level Byte-Pair Encoding，BPE。

与Phi-3-mini相比，这个模型训练的epoch更多，训练的数据量和Phi-3-small一样，达到4.9万亿tokens。

官方的技术报告说这个模型比Phi-3-small-7B的提升不如Phi-3-small-7B相比Phi-3-mini-3.8B提升多。作者认为可能是数据问题，所以后面他们还会改进，因此，把这个Phi-3-medium-14B称为preview版本。

Phi-3三个版本模型对比总结如下表：

模型版本	Phi3-mini	Phi3-small	Phi3-medium
参数规模	38亿	70亿	140亿
上下文长度	4K	8K	4K
词汇表数量	32K	100K	32K
tokenizer	BPE	tiktoken	BPE
训练数据量	3.8万亿	4.8万亿	4.8万亿

注意，这里的BPE全称就是byte-level Byte-Pair Encoding。

Phi-3-medium 14B-preview

模型基本信息