P

Phi-2

基础大模型

Phi-2

发布时间: 2023-12-12

模型参数(Parameters)
27.0
最高上下文长度(Context Length)
2K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

最高上下文输入长度

2K tokens

最长输出结果
未披露
模型类型

基础大模型

发布时间

2023-12-12

模型预文件大小

5.4GB

开源和体验地址

代码开源状态
预训练权重开源
MIT License - 免费商用授权
GitHub 源码
暂无GitHub开源地址
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

Phi-2模型在各大评测榜单的评分

发布机构

模型介绍

----------2024年1月4日更新:微软将Phi-2开源协议修改外MIT开源协议,完全解除商用限制!----


Phi是微软发布的一系列参数规模在几十亿的大模型。Phi2是当前最新的27亿参数的大模型。这个模型虽然参数不高,但是推理能力、语言理解能力等评测结果都超过了当前主流的70亿参数的大模型,甚至接近Llama-2 70B模型的水平,十分让人惊讶。


不过与之前的Phi-1和Phi-1.5不同的是,这个模型只对研究开放,没有开源。目前只能通过Azure AI Studio访问。


Phi-2模型的技术细节


Phi-2模型是微软发布的一系列较小规模参数的大语言模型,第一代的Phi-1和Phi-1.5只有13亿参数规模,但是取得了很好的效果。不过业界都怀疑他们利用了benchmark的数据集,所以才会效果很好。而此次发布的Phi-2参数为27亿,并解释了他们调查过,但是是Phi-2的训练数据不涉及任何开源评测数据的泄露。


Phi-1和Phi-1.5都是13亿参数,Phi-1是真的代码能力训练的,而Phi-1.5是Phi-1基础上加入NLP语料训练得到的,除了代码水平略有降低外,NLP理解能力大幅增加。具体参考:


Phi-1: https://www.datalearner.com/ai-models/pretrained-models/Phi-1 

Phi-1.5: https://www.datalearner.com/ai-models/pretrained-models/Phi-1_5 


Phi-2最重要的技术突破来源于2个:一个是高质量的文本数据。他们关注“textbook-quality”(教科书质量)的数据集,利用现有的大模型合成数据,包括常识推理、一般知识、科学、日常活动和心里理论等数据,然后在训练语料库种加入经过筛选的网络数据,共同组成了Phi-2模型的训练数据集。


另一个技术是使用Phi-1.5模型的知识嵌入到Phi-2中,采用知识转义的方式加速训练收敛,并显著提升了Phi-2的效果。使得Phi-2模型的水平可以超过其参数规模25倍的130亿参数的大模型。


不过这两项的细节都没有公布。第一个合成数据的部分可以参考此前模型的论文: https://www.microsoft.com/en-us/research/publication/textbooks-are-all-you-need/ 


Phi-2模型的训练数据集有2500亿tokens,但是训练了1.4万亿tokens,说明训练了不止一个epoch,数据集包含网络数据集和合成数据集(GPT-3.5合成的),包括自然语言部分的文本和代码数据。在96个A100 GPUs训练了14天。注意,这个模型没有做任何对齐调优或者是RLHF训练。


Phi-2模型的评价


Phi-2模型虽然只有27亿参数,但是模型效果非常好。它在不同评测基准上的效果超过了此前著名的欧洲之光Mistral-7B,接近Llama2-70B。


模型名称参数规模BBHCommonsenseLanguageMathCoding
Llama2-7B70亿40.062.256.716.521.0
Llama2-13B130亿47.865.061.934.225.4
Llama2-70B700亿66.569.267.664.138.3
Mistral70亿57.266.463.746.439.4
Gemini Nano 232亿42.4
Phi-227亿59.268.862.061.153.7


可以看到,Phi-2的各方面表现都很好。


DataLearnerAI的大模型评测数据排行上可以看到Phi系列模型的进步:


Phi系列编程水平: https://www.datalearner.com/ai-models/llm-coding-evaluation 





Phi系列的综合水平: https://www.datalearner.com/ai-models/llm-evaluation?modelSize=3b 



关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat