PaLM-E

Pathways Language Model-Embodied

预训练模型详情

模型全称

Pathways Language Model-Embodied

模型简称

PaLM-E

发布日期

2023-03-06

预训练文件大小

未知

模型参数数量(亿)

5620

模型链接

发布论文

PaLM-E: An Embodied Multimodal Language Model

发布机构

基础模型

无基础模型

Pathways Language Model-Embodied 简介

PaLM-E是谷歌发布的最新的多模态预训练大模型。该模型是从PaLM( 模型卡:https://www.datalearner.com/ai-models/pretrained-models/PaLM )演化。


大型语言模型已经被证明可以完成复杂的任务。然而,在现实世界中实现一般推理,例如用于机器人问题,提出了接地的挑战。我们提出了具身语言模型,以直接将现实世界的连续传感器模式纳入语言模型,从而建立单词和感知之间的联系。我们的具身语言模型的输入是多模式的句子,这些句子交织着视觉、连续状态估计和文本输入编码。我们将这些编码与预先训练好的大型语言模型一起进行端到端训练,用于多个具身任务,包括连续的机器人操作计划、视觉问题回答和字幕。我们的评估表明,PaLM-E,一个单一的大型体现性多模态模型,可以解决各种体现性推理任务,来自各种观察模式,在多个体现性上,并且进一步表现出积极的转移:该模型从互联网规模的语言、视觉和视觉语言领域的不同联合训练中受益。我们最大的模型,PaLM-E-562B,有562B个参数,除了在机器人任务上进行训练外,还是一个视觉语言通才,在OK-VQA上有最先进的表现,并且随着规模的扩大,保持了通才的语言能力。




不过,这个模型目前没有开源。

PaLM-E所属的领域
多模态学习

多模态学习

Multimodal Learning

35个资源

PaLM-E相关的任务
口语理解

口语理解

Spoken Language Understanding

35个资源