Toolformer：MetaAI发布的基于语言模型来确定使用哪种搜索引擎解决问题

论文名：Toolformer: Language Models Can Teach Themselves to Use Tools

发布时间：2023-02-09

论文地址：https://arxiv.org/abs/2302.04761v1

代码地址：

原文摘要：语言模型（LMs）表现出非凡的能力，能够从几个例子或文本指令中解决新任务，尤其是在规模上。矛盾的是，它们还与基本功能（如算术或事实查询）作斗争，在这些功能中，更简单和更小的模型更为出色。在本文中，我们展示了LMs可以通过简单的API自学使用外部工具，并实现两者的最佳效果。我们引入了Toolformer，这是一个经过训练的模型，用于决定调用哪些API、何时调用它们、传递什么参数，以及如何将结果最好地结合到未来的令牌预测中。这是以自我监督的方式完成的，只需要对每个API进行少量演示。我们整合了一系列工具，包括计算器、问答系统、两个不同的搜索引擎、翻译系统和日历。Toolformer在不牺牲其核心语言建模能力的情况下，在各种下游任务中实现了显著提高的零炮性能，通常与更大的模型竞争。