Ge

Gemini 1.5 Pro

基础大模型

Gemini 1.5 Pro

发布时间: 2024-02-15

模型参数(Parameters)
未披露
最高上下文长度(Context Length)
10000K
是否支持中文
支持
推理能力(Reasoning)

模型基本信息

最高上下文输入长度

10000K tokens

最长输出结果
未披露
模型类型

基础大模型

发布时间

2024-02-15

模型预文件大小
暂无数据

开源和体验地址

代码开源状态
预训练权重开源
不开源 - 不开源
GitHub 源码
暂无GitHub开源地址
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址

官方介绍与博客

API接口信息

接口速度
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

Gemini 1.5 Pro模型在各大评测榜单的评分

评测基准名称
MMLU
(知识问答)
评测结果:87.1
评测基准名称
MMLU Pro
(知识问答)
评测结果:76.1
评测基准名称
GSM8K
(数学推理)
评测结果:0.0
评测基准名称
HumanEval
(代码生成)
评测结果:89.0
评测基准名称
MBPP
(代码生成)
评测结果:87.8
评测基准名称
TruthfulQA
(真实性评估)
评测结果:0.0
评测基准名称
MATH
(数学推理)
评测结果:82.9
评测基准名称
BBH
(综合评估)
评测结果:0.0
评测基准名称
GPQA Diamond
(常识推理)
评测结果:53.5

发布机构

模型介绍

Gemini 1.5简介

本次发布的Gemini 1.5是Pro版本的更新,官方宣传Gemini 1.5 Pro的能力已经接近此前的Gemini Ultra 1.0的水平。按照此前发布的信息看,Gemini Pro的参数量应该是比Gemini Ultra低一个数量级。

Gemini 1.5 Pro是MoE架构大模型

Google说,Gemini 1.5 Pro是一个全新的MoE模型(Mixture of Experts,混合专家)。这意味着这是一个和Mixtral 7B×8类似架构的模型,也是大企业中首个公开自己是MoE架构的模型了。这是一个中等大小的多模态模型,在各项任务评测结果都接近Gemini Ultra。

谷歌说,根据输入的类型,模型会决定最相关的专家网络来输出结果,但是除此之外,谷歌没有更多的信息透露,包括专家数量、模型参数等。

Gemini 1.5 Pro最高支持1000万上下文

同时在超长上下文方面有非常好的突破。此前,谷歌提供的Geminix系列最高支持128K超长上下文,与OpenAI目前提供的GPT模型的上下文长度一致,但是低于Claude 2.1的200K。而本次发布的Gemini 1.5 Pro最高支持100万tokens的上下文(目前仅仅面向有限的开发者和企业用户)!这应该是目前商用最长上下文的模型了!为了更好地支持100万上下文长度,谷歌说他们正在努力优化时延和计算需求。

什么概念呢?100万上下文意味着Gemini 1.5 Pro可以一次处理1个小时视频、11个小时音频、3万行代码或者70万单词!而这不是极限,谷歌说对于研究性质来说,最高可支持1000万tokens上下文!

Gemini 1.5 Pro的评测结果

谷歌在Gemini 1.5 Pro的技术报告中详细披露了Gemini 1.5 Pro的各项评测结果,其中有大量的在超长上下文和多模态的评测结果。在常规的测评中也表现很好。

Gemini 1.5 Pro的综合评测接近Gemini Ultra

谷歌公布了Gemini 1.5 Pro在各项评测的分数,结果非常接近Gemini Ultra,同时部分评测结果超过原有模型。

数据来源:https://www.datalearner.com/ai-models/llm-evaluation

上图是DataLearnerAI大模型综合评测数据中按照GSM8K排序的结果,目前的Gemini 1.5 Pro排名第一,超过了Gemini Ultra 1.0和GPT-4,而MMLU的评测看Gemini 1.5 Pro也是非常接近Gemini Ultra 1.0,但是不如GPT-4,排名第三。具体更多的评测结果如下图:

此外,谷歌还公布了Gemini 1.5 Pro在多模态的评测结果,具体大家参考DataLearnerAI的模型信息卡即可:https://www.datalearner.com/ai-models/pretrained-models/Gemini-1_5-Pro

Gemini 1.5 Pro总结

谷歌官方在介绍Gemini 1.5 Pro的时候非常强调它的超长上下文和多模态能力,它可以直接从402页的阿波罗登月记录中推断对话、事件和其中的细节,展现了非常强大的推理能力和超长上下文的理解能力。

不过,目前Gemini 1.5 Pro仅提供给部分开发者和企业用户使用,而且目前仅能使用128K上下文版本。谷歌说很快就可以发布100万上下文测试版本。而且在早期测试中,测试者甚至是可以免费测试100万上下文的结果。

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat