开源王者！全球最强的开源大模型Llama3发布！15万亿数据集训练，最高4000亿参数，数学评测超过GPT-4，全球第二！

大语言模型开源领域最重要的一个模型就是MetaAI开源的Llama系列。当前，很多著名开源模型都是基于Llama系列进行预训练得到。就在刚才，MetaAI开源了第三代Llama3系列。官方透露的信息非常多，Llama3系列是目前为止最强的开源大语言模型，未来还有4000亿参数版本，支持多模态、超长上下文、多国语言！

[TOC]

#### Llama3系列简介

Llama3系列模型是MetaAI开源的第三代大语言模型，本次发布的包含2个不同参数规模的版本，一个是80亿参数的LLama3-8B，另一个是700亿参数规模的Llama3-70B。MetaAI为此创建了2个2.4万个GPU集群，让Llama3模型在其中的1.6万个GPU上同时训练！

不过，根据官方描述，目前这两个版本是早期预览版本，未来几个月，Llama3的能力将拓展到**多语言**支持和**更长的上下文**，并且会开源**更多不同参数规模**版本的模型。并且，Llama3将会有**多模态**版本的模型！

Llama3模型是在**15万亿tokens数据集**上训练，是Llama2的7倍！其中的代码数据集高4倍！当前支持的上下文长度是128K！

这里还有个好消息是，预训练数据集中有**5%的非英文数据集**，总共支持的**语言高达30种**，期待包含中文。不过官方也说了，其他语言可能不如英文。但是如果有这个基础，继续做对齐可能更为容易。

Llama3模型具体信息可以参考DataLearnerAI模型信息卡：

| Llama3版本名称  | DataLearnerAI模型信息卡  |
| ------------ | ------------ |
| Llama3-8B  | https://www.datalearner.com/ai-models/pretrained-models/Llama3-8B  |
|  Llama3-70B | https://www.datalearner.com/ai-models/pretrained-models/Llama3-70B  |
| Llama3-8B-Instruct  | https://www.datalearner.com/ai-models/pretrained-models/Llama3-8B-Instruct  |
|  Llama3-70B-Instruct | https://www.datalearner.com/ai-models/pretrained-models/Llama3-70B-Instruct  |
| Llama3-400B  | https://www.datalearner.com/ai-models/pretrained-models/Llama3-400B  |
|  Llama3-400B-Instruct | https://www.datalearner.com/ai-models/pretrained-models/Llama3-400B-Instruct  |

需要注意的是，这里的4000亿参数版本正在训练中，还没完成。

#### Llama3-70B是目前最强的开源大模型
虽然目前MetaAI仅仅开源了2个不同参数规模版本的模型，其中700亿参数规模的模型评测结果极其优秀。最大的亮点是数学评测GSM8K的结果上得分93分！根据DataLearnerAI目前收集的数据，**这个分数仅次于Claude3-Opus的95分，超过GPT-4，全球第二，是目前开源大模型中得分最高的一个**。

<center>[![Llama3-70B模型评测结果](https://www.datalearner.com/resources/blog_images/a6765caa-832e-480c-b4ae-e6fa38e05ab6.png "Llama3-70B模型评测结果")](https://www.datalearner.com/ai-models/llm-evaluation "Llama3-70B模型评测结果")</center>
<center>数据来源：https://www.datalearner.com/ai-models/llm-evaluation</center>
<center></center>

可以看到，按照GSM8K排序的靠前的模型中，**除了Llama3-70B外，全部是闭源的私有模型**。而数学能力与推理等强相关，在解决复杂任务方面有着非常好的优势。而**Llama3-70B的MMLU得分82.0分，排名在Claude3-Opus、GPT-4和Gemini Ultra之后，全球第四**，成绩也是非常好，也是开源模型中最强的一个。

而Llama3-8B版本的模型在MMLU（综合理解能力）得分68.4，接近GPT-3.5，GSM8K得分79.6，略超720亿参数规模的Qwen1.5-72B模型！

另外，作为一个综合的大模型，Llama3-70B模型的代码能力也非常出色，在HumanEval评测上得分81.7，低于GPT-4和Claude3-Opus，也比专门的编程大模型CodeQwen1.5-7B模型略低，但是全球排名第四！

注意，**上述模型的评测的是Llama3的指令优化版本**，基座预训练得分目前只公布了MMLU部分，稍低于这些分数。

####  Llama3的人工评分

MetaAI官方宣布自己构建了人工评测数据集，在12个关键任务中收集了1800个高质量的prompt（包括获得建议、头脑风暴、分类等任务）。然后采用人工评价的方式。结果发现，Llama3-70B模型效果好于目前市场上的闭源模型：Claude Sonnet, Mistral Medium和GPT-3.5。

<center>![](https://www.datalearner.com/resources/blog_images/8b4d8bd8-9326-4022-98b1-cc221ffb66ac.png)</center>
<center></center>

但是官方没有给GPT-4的对比以及Claude3-Opus对比，这两个应该是市场最强的2个闭源模型。

#### Llama3最大的版本是4000亿参数规模
MetaAI官方宣布，Llama3有很多版本，其中**最大的版本是4000亿参数规模**！但是这个版本的模型**还在训练中**！官方**没有明确说未来这个版本是否开源**，但是也没有否认。

但是官方依然给了一个截图，展示了还在训练中的4000亿参数版本的模型的效果：

<center>![](https://www.datalearner.com/resources/blog_images/19c63dd6-c6c6-4e75-90dd-d06dcbdacb04.png)</center>
<center></center>

其中MMLU得分86.1分，GSM8K得分94.1分，这意味着**一旦该模型训练完成，与当前市场上公开的所有模型相比，Llama3-400B模型的评测结果一定是全球第一**！它现在的版本MMLU与最高分差0.7分，GSM8K差0.4分，差距非常小！代码评测结果与第一名差距也非常小！

具体数据参考DataLearnerAI大模型评测排行榜：

<center>![](https://www.datalearner.com/resources/blog_images/57e087c6-aaa1-44a1-8e95-65894f924b8c.png)</center>
<center>数据来源：https://www.datalearner.com/ai-models/llm-evaluation</center>
<center></center>

#### Llama3开源情况
目前官方没有看到完整的开源协议，但应该和Llama2类似，允许商用，但是遵从贸易合规，所以国内很多公司可能依然无法使用。

目前开源的Llama3-8B和LLama3-70B模型没有在任何平台发布，**只在官网提供了申请链接**，需要审批通过之后才可以下载，申请地址：https://llama.meta.com/llama-downloads
Llama3官方网站：https://llama.meta.com/llama3/

开源王者！全球最强的开源大模型Llama3发布！15万亿数据集训练，最高4000亿参数，数学评测超过GPT-4，全球第二！

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客