多模态预训练模型来临——DeepMind最新的可以完成多种任务的单一预训练模型发布

论文名：A Generalist Agent

发布时间：2022年5月

论文地址：https://arxiv.org/abs/2205.06175

代码地址：https://github.com/OrigamiDream/gato

原文摘要：受大规模语言建模进展的启发，我们采用了类似的方法来构建超出文本输出领域的单一通用代理。我们称之为Gato的代理作为一种多模态、多任务、多实施例的通才策略工作。具有相同权重的同一网络可以与真实的机器人手臂一起玩Atari、字幕图像、聊天、堆栈块等等，并根据其上下文决定是否输出文本、关节扭矩、按键或其他令牌。在本报告中，我们描述了模型和数据，并记录了Gato的当前能力。