OpenAI最新的推理大模型o1与GPT-4o有什么区别？o1一定比o1 mini更强吗？一文总结OpenAI对o1模型的官方答疑

OpenAI的o1模型是当前最强大的具有超强推理能力的大语言模型。但是，o1模型本身的能力如何，o1版本和o1-mini版本模型的差异在哪等似乎都很不清晰。为此，OpenAI在Twitter上举办了一次AMA（Ask me anything）活动，解答了很多大家关心的问题。在这篇博客中，我们根据这个讨论结果总结了一下其中比较重要的信息供大家参考。

<center>![](https://www.datalearner.com/resources/blog_images/63bdcb1f-3157-4817-afd5-897542409016.png)</center>
<center></center>

关于OpenAI o1模型本身的介绍，可以参考此前DataLearnerAI的文章内容：https://www.datalearner.com/blog/1051726184271628

[TOC]

#### OpenAI的o1模型不同版本的差异：o1-preview、o1-mini和未来的o1模型
OpenAI的o1模型包含两个不同参数规模版本：分别是较大参数规模版本的o1模型和o1-mini，其中当前o1模型可能是没有训练完成（也可能是训练完成没有发布），发布的o1-preview版本是o1模型训练过程中的一个checkpoint。

而o1-mini模型则是参数规模较小的一个版本，虽然o1-mini的参数规模相对较小，但是与o1-preview相比，有些能力可能更强。o1-mini模型在STEM相关任务上（Science、Technology、Engineering和Math）表现很好，在编程相关的任务上甚至好于o1-preview。不过o1-mini的世界知识更少。

正式由于o1-mini模型更小更快，因此它可以比o1-preivew有探索更多的思维链（thought chain），这一点也许是获得更高准确性的一个关键。因为根据OpenAI官方的数据，推理迭代次数越多（也就是如果能探索更多的思维链），准确性也越高。

#### o1系列模型与GPT-4o模型的差别
根据官方的描述，o1模型是一个全新的模型，它不是一个类似GPT-4o+系统工程做出来的。因为，也有人猜测，让GPT-4o产生更多的思维链结果，并一步一步去探索可能也有类似的效果。

然而，OpenAI官方说，o1是一个全新能力的模型，它不是一个“系统”，而是一个模型，训练的时候就是让它在返回最终答案之前需要生成很长的思维链结果。

o1系列模型与GPT-4o模型唯一的相同点可能就是它们使用了相同的tokenizer，输入的token数的计算逻辑和GPT-4o一样。不过，OpenAI官方描述说o1模型可以处理更长的输入文本，原话如下：

>  o1 models can handle longer, more open-ended tasks with less need for chunking input compared to GPT-4o

而当前GPT-4o的模型可以处理128K，这也许意味着o1系列模型可能可以处理更长的输入序列。不需要将此前的输入切分成多个小的块来处理。这句话至少告诉了我们如下信息：

- o1具有更长文本处理能力："longer tasks" 指的是需要处理大量文本或信息的任务。
o1模型能够一次性处理更长的输入，而不需要将其分成多个小块。

- 开放式任务："more open-ended tasks" 指那些没有明确定义的边界或单一答案的任务。这可能包括创意写作、复杂问题解决、长篇分析等。

- 减少分块需求："less need for chunking input" 是这句话的关键。在处理长文本时，旧模型（如GPT-4o）常常需要将输入分成多个小块，逐块处理后再整合结果。o1模型减少了这种需求，能够更整体地处理长文本。

#### o1模型使用的思维链技术无法通过prompt调优达成
OpenAI官方描述成为了使用提高o1模型的思维链能力，他们采用了强化学习的方法进行训练。单纯的使用prompt技术是无法让GPT-4o模型达到类似水平的。

其实o1模型生成答案是很快的。但是，推理过程的思考步骤是需要不断总结前面的思考结果的，所以很慢。而思考过程官方是不会披露的，目前也没有任何计划去披露。目前只会纰漏思维链过程的总结结果。但是这个总结是不保证和原来的实际推理一致的。

OpenAI说，当前是无法暂停o1模型的思维链的推理过程。因此，你无法在推理过程中增加更多的上下文信息，不过，这个能力未来可能会加入。

当前o1模型的思考过程受到prompt影响很大。因此，OpenAI说，你的指令会极大影响模型的输出效果。如果你能提供一些edge cases或者推理风格，那么o1模型的表现也会变好，因为它对prompt中的线索很敏感，更容易接受提示中的推理线索。因此，如果使用RAG技术提供一些不错的内容是可以提升相关效果的，但是，如果你检索结果不相关反而会导致模型的推理效果变差。

#### o1模型的输出tokens分为推理tokens和输出tokens
OpenAI官方的API接口中，将大模型的输入输出tokens进一步细化，分为输入tokens、推理tokens和输出tokens。每一轮的对话如下图所示：

<center>![](https://www.datalearner.com/resources/blog_images/1147c836-b4b2-4641-9ce6-421ae9767f26.png)</center>
<center></center>

这里的turn就是只一次对话，每一次用户的输入，o1模型都会有2种不同的输出，一种是推理过程的思维链，即reasoning tokens，一种是推理结束后给用户的输出，即output tokens。在第二轮对话中，第一轮对话的Input+Output作为上下文继续输入，但是推理过程会被丢弃。

这里需要注意的是，虽然每一次的推理过程我们看不到，但是OpenAI说这部分的tokens是要按照输出的费用来算钱的（虽然但是，这是一个不对等的交易啊！）

#### o1当前内部测试的能力汇总
虽然大家目前关注的主要是大模型的推理能力，但是o1模型本身已经在诗歌等侧向任务中战术了创造性思维和强大的表现。同时，在哲学推理能力和对密码破译方面的泛化能力令人印象深刻。o1甚至能思考“生命是什么”这样的哲学问题。

在未发布之前，很多研究人员也参与了o1模型的测试，包括创建一个GitHub机器人，用于提醒正确的代码所有者进行代码审查。而内部测试中，OpenAI甚至还让o1模型自我测验一些非常难的题目，以评估它的能力。

#### o1模型未来的能力规划
当前，o1模型可以认为是一个处理文本问题的模型。未来，o1模型会增加如下能力：

- 与GPT-4o模型一样，增加对function calling、code interpreter和browsing的支持；
- 支持工具的使用、结构化的输出以及系统级别的prompt；
- 用户可以控制思考的时间和tokens数量；
- 未来可能会支持流式输出；
- o1模型本身是支持多模态的输入和输出的，未来这方面也会补齐
- API中缓存prompt是一个非常多人想要的能力，但是目前没有时间表
- 每1-2年，o1模型的价格会有降价的趋势（当前o1模型输入和输出的单价是GPT-4o的3倍和4倍）
- 未来也会支持批量的API以完成降价
- o1会支持模型微调，但是这个没有时间表
- 当前o1-preview接口限制和桌面请求限制较大，未来o1-mini会向普通用户开放，o1模型的额度限制也会逐渐放开
- 截止目前为止，o1-mini的知识日期是2023年10月份，未来会更新知识

OpenAI最新的推理大模型o1与GPT-4o有什么区别？o1一定比o1 mini更强吗？一文总结OpenAI对o1模型的官方答疑

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客