重回第一！OpenAI升级GPT-4-Turbo到2024-04-09版本（gpt-4-turbo-2024-04-09），GPT-4推理和数学能力大幅提高，基准测试最高有接近20%的提升！

OpenAI的GPT-4一直是全球最强的大语言模型。但是在最近的一系列新模型对比中，已经有一些模型在某些领域被认为已经接近或者超过GPT-4了。而在前几天，OpenAI更新了一个新版本的GPT-4，是GPT-4-Turbo-2024-04-09，官方说该版本的GPT在推理和数学能力上有明显提升，而实测结果也很不错。在基准测试评测中，**最高有19%的提升幅度**！在GPT-4这样强的模型上有这样的提升幅度，十分不错！

[TOC]

#### GPT-4-Turbo-2024-04-09版本简要说明
这个GPT-4-Turbo版本相比此前的模型，只是更新了版本号，在最开始的时候，OpenAI只说明了他们发布了这样一个新版的GPT-4-Turbo模型，该模型有2个重要的更新：
1. **基础的数学和推理能力大幅提高**
2. 这个模型可以接受文本和图像两类输入

这个模型刚发布的时候，官方只说了性能大幅提升以及可以接受图像输入，并没有具体说明情况。连OpenAI的联合创始人Greg Brockman也说这个模型有很大提升，但是就是不公布具体提升内容。也导致了很多人的不满。最后OpenAI才说提升了数学和推理能力。

另外需要注意的是，GPT-4-Turbo-2024-04-09模型的训练数据已经**更新到2023年11月份**。

####  GPT-4-Turbo-2024-04-09基准测试结果
从前面的图我们也可以看到，综合理解能力MMLU和代码能力HumanEval几乎不变，但是数学推理都有大幅提高。

<center>![](https://www.datalearner.com/resources/blog_images/9e3d3795-7c8e-4fe3-921a-f4ea4bfaf89f.png)</center>
<center></center>

而OpenAI官方还有更加详细的数据统计，按照统计，结果如下：

| 评测基准名称 | 评测内容 |gpt-4-0125-preview | gpt-4-Turbo-20240409 | 提升百分比 |
| ------------ | ------------ | ------------ | ------------ | ------------ |
| DROP | 基于文本段落进行离散推理 |81.5 | 86.0| 5.52% |
| GPQA |谷歌发布的毕业生级别的问答证明基准| 41.4 | 49.3 | **19.08% ** |
| MATH | 解决数学题目的能力 | 64.5 |73.4 | **13.80%** |
| MGSM | 多语种小学数学基准 | 85.1 |89.6 | 5.29% |
| MMLU | 综合理解能力 | 85.4 | 86.7 | 1.52% |
| HumanEval |编程能力 | 86.6 | 87.6 | 1.15% |

注意，这些都是使用最简单的Prompt进行测试的结果，也是OpenAI自己发布的最新测试结果。从这个评测看，在数学图例方面，gpt-4-turbo-2024-04-09版本的模型都有不同程度的提高，最高可以提升19%！要知道GPT-4本身已经十分强大，这个提升幅度，在不变更版本号的前提下十分难得。而综合理解和代码能力就提升不明显。

#### GPT-4-Turbo-2024-04-09网友实测
其实一开始，官方只说GPT-4-Turbo-2024-04-09模型有提升，并没有其它说明。很多网友都质疑说为什么连具体提升的说明都没有。而Greg Brockman解释希望大家自己发现。可能是OpenAI官方觉得自己只要说一下就能引起广泛关注和讨论，所以一开始透露很少。

而发现大家似乎目光没有那么“聚焦”之后，OpenAI官方开始有了更多详细说明。上面测试数据就是官方发布的结果。下面是DataLearnerAI收集的实测结果。

##### OpenAI官方自己实测：不再那么啰嗦

官方给了一个实例，说明最新的GPT-4对话能力更强，也**不那么啰嗦**。例如，让GPT写一个短信邀请朋友参加生日聚会：

<center>![](https://www.datalearner.com/resources/blog_images/392b73df-301c-46ed-92fc-1bb1edf2291d.jpg)</center>
<center></center>

在此前的版本中，短信很长也很啰嗦。而后者则更新平时我们对话的结果。

##### 新版GPT-4的超长上下文能力更强
尽管此前OpenAI宣布说GPT-4最高支持128K的输入，但是随着上下文长度的增加，能力依然会有下降。一位网友做了一个自己构造的大海捞针测试，**将答案分布在不同文档、没有确定性关键词、接近以及误导的信息**来测试大模型的在超长上下文的能力。这比简单的大海捞针更难。

和此前的gpt-4-1106对比，新版本的GPT-4-Turbo-2024-04-09在更长的上下文上表现提高。**64K的上下文水平与此前版本的26K差不多！**

<center>![](https://www.datalearner.com/resources/blog_images/cbe5142f-df6b-4fda-b908-51cf59d17365.jpg)</center>
<center></center>

这里的纵轴表示匹配到准确的结果的数量，这是一个类RAG的测试。可以看到，最新版是绿色的折线，其在更高的上下文上，表现依然很好。这个测试也是开源的：https://github.com/stunningpixels/lou-eval

##### 新版本的GPT-4不那么啰嗦
另一个测试来自EverArt的创始人，他对比了新旧版本的GPT-4，让写一段Python代码，新版本大部分内容都是代码。而老版本除了代码以外，还有非常啰嗦的解释：

<center>![](https://www.datalearner.com/resources/blog_images/2258eb3c-7b7f-42d2-93df-dc4571c0667c.png)</center>
<center></center>

这意味着，ChatGPT可能未来会更加简洁有用。

##### LiveCodeBench评测结果大幅提升
LiveCodeBench是不断从LeetCode等上面收集新的代码测试数据集，致力于做无数据污染的大模型评测。他们的测试难度非常高。而最新的结果，新版GPT-4的水平也是大幅提升，尤其是在比较困难的题目上：

<center>![](https://www.datalearner.com/resources/blog_images/d89fb50b-96d8-48b2-ba4b-760203bf5cf1.png)</center>
<center></center>

可以看到，在**中等难度水平测试上，新版GPT-4比此前提升将近50%！**非常强大！

这部分数据参考：https://livecodebench.github.io/leaderboard.html

#### 新版GPT-4在大模型匿名竞技场重回第一！
大模型匿名竞技场Chatbot Arena是LM-SYS推出的一个大模型匿名投票的评测系统。大家提问问题之后，系统返回匿名模型结果，用户投票得分。在此前，Claude3-Opus一度超过了GPT-4成为全球最高得分的模型。

而在GPT-4-Turbo-2024-04-09发布2天后，已经有8932个投票，投票结果显示，**GPT-4-Turbo-2024-04-09得分超过Claude-3-Opus，重回第一！**

<center>![](https://www.datalearner.com/resources/blog_images/09a3333f-504a-47a9-89fe-f86b7108b85f.png)</center>
<center></center>

#### GPT-4-Turbo-2024-04-09利用了Q\*技术
不管是官方的测试，还是网友的测试，新版的GPT-4应该都是有明显的进步的。尤其是数学推理能力的增强，也让很多人猜测这个模型是不是Q\*或者GPT-4.5。

而根据一位推特网友的信息，**新版的GPT-4不是Q\*，但是应该是基于Q\*的输出做了微调**。新版的GPT-5已经准备好，只是OpenAI holding back，所以对GPT-4做了训练，得到了这个新版：

<center>![](https://www.datalearner.com/resources/blog_images/d8742e63-e5e3-42c5-a2d1-3e4be037452c.png)</center>
<center></center>

目前，新版的GPT-4已经更新到ChatGPT和OpenAI官网的API接口了，大家可以测试起来！

重回第一！OpenAI升级GPT-4-Turbo到2024-04-09版本（gpt-4-turbo-2024-04-09），GPT-4推理和数学能力大幅提高，基准测试最高有接近20%的提升！

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客