OpenAI发布新一代向量大模型，接口已经更新到text-embedding-3-large，embedding长度升级，价格最高下降5倍！

由于大语言模型输入长度的限制，基于外挂知识库的检索生产（Retrieval Augmented Generation，RAG）是大模型应用中非常流行的技术。检索增强生成中的一个核心步骤是检索。而基于向量相似性检索是这类系统中最重要的技术之一。决定向量检索准确性的核心是向量大模型的能力，即文本转成embedding向量是否准确。今天，OpenAI宣布了他们第三代向量大模型text-embedding，模型能力增强的同时价格下降！

<center>![](https://www.datalearner.com/resources/blog_images/e6143d14-b6bc-4612-84b4-a26384b39126.png)</center>
<center></center>

[TOC]

#### OpenAI第三代向量大模型text-embedding-3简介
embedding向量是一个数字组成的向量，可以表示自然语言或者代码的语义。基于这个向量可以得出不同文本或者代码内容之间的相似性，在知识检索中用处很高。本次OpenAI发布的向量大模型包括2个版本，分别是`text-embedding-3-small`和`text-embedding-3-large`。

<center>![](https://cdn.openai.com/new-and-improved-embedding-model/draft-20221214a/vectors-2.svg)</center>
<center></center>

其中，前者是规模较小但是效率很高的模型，前任模型是2022年12月发布的`text-embedding-ada-002`。后者是规模更大的版本，最高支持3072维度的向量！这是目前OpenAI最强大的向量大模型，比前代的模型强很多，在MIRACL和MTEB上的得分都有提升。

#### OpenAI不同的向量大模型对比

当前OpenAI不同向量大模型的对比：

| 模型名称 | 发布日期 | 输入维度 | 输出向量维度 | MIRACL 平均分 | MTEB平均分 | 价格 |
| ------------ | ------------ | ------------ | ------------ |
| text-embedding-ada-002 | 2022年12月 | 8191 | 1536| 31.4 | 61.0|$0.0001 /1K tokens |
| text-embedding-3-small | 2024年1月25日 | 8191 | 512和1536可选 | 44 | 512得分61.6 1536得分62.3 | $0.00002 /1K tokens |
| text-embedding-3-large | 2024年1月25日 | 8191 | 256/1024/3072可选 | 54.9 | 256得分62.0 1024得分64.1 3072得分64.6 | $0.00013 / 1k tokens |

从上表可以看出，为了权衡生成速度和准确性，OpenAI提供的新的向量大模型`text-embedding-3`支持`dimensions`参数，可以选择生成不同长度的向量。而更长的向量效果更好，但是成本更高，速度更慢。从价格上来说，`text-embedding-3-small`和前一代的向量大模型维度一致，效果略强，不过**价格下降5倍**！而更大版本的向量模型价格也比前代模型也有下降，下降约45%左右！

这一次，OpenAI向量大模型最大的特点应该就是可以支持输出不同维度的结果并且价格下调，开发者的选择更加丰富。

#### 第三代OpenAI向量大模型text-embedding-3与其它模型对比
不过，从MTEB评分结果看，尽管`text-embedding-3-large`最高已经达到64.6分，但是MTEB排行榜上依然只能拍第四。目前前三名如下：

| 排名 | 模型名称            | 模型大小(GB) | 输出向量维度|输入长度 | MTEB平均分 |
|------|------------------|-----------------|----------------------|-----------------|-----------------------|
| 1    | voyage-lite-02-instruct | /   | 1024                 | 4000            | 67.13                  |
| 2    | e5-mistral-7b-instruct  | 14.22           | 4096                 | 32768           | 66.63                  |
| 3    | UAE-Large-V1     |1.34  | 1024                 | 512             | 64.64                  |

不过，这些模型的使用成本可能比OpenAI的略高。

OpenAI发布新一代向量大模型，接口已经更新到text-embedding-3-large，embedding长度升级，价格最高下降5倍！

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客